]> git.openstreetmap.org Git - chef.git/blob - cookbooks/tilecache/templates/default/nginx_tile.conf.erb
Block some heavy apps and default user-agents
[chef.git] / cookbooks / tilecache / templates / default / nginx_tile.conf.erb
1 # DO NOT EDIT - This file is being maintained by Chef
2
3 upstream tile_cache_backend {
4   server 127.0.0.1:8080;
5   server 127.0.0.2:8080;
6
7   # Add the other caches to relieve pressure if local squid failing
8   # Balancer: round-robin
9 <% @caches.each do |cache| -%>
10 <% if cache[:hostname] != node[:hostname] -%>
11 <% cache.ipaddresses(:family => :inet, :role => :external).sort.each do |address| -%>
12   server <%= address %>:80 backup; # Server <%= cache[:hostname] %>
13 <% end -%>
14 <% end -%>
15 <% end -%>
16
17   keepalive 512;
18   keepalive_requests 1024;
19 }
20
21 # Geo Map of tile caches
22 geo $tile_cache {
23   default 0;
24 <% @caches.each do |cache| -%>
25 <% cache.ipaddresses(:family => :inet, :role => :external).sort.each do |address| -%>
26   <%= address %> 1; # <%= cache[:hostname] %>
27 <% end -%>
28 <% end -%>
29 }
30
31 # Rates table based on current cookie value
32 # map $cookie__osm_totp_token $limit_rate_qos {
33 #  include /etc/nginx/conf.d/tile_qos_rates.map;
34 # }
35
36 # Set-Cookie table based on current cookie value
37 # map $cookie__osm_totp_token $cookie_qos_token_set {
38 #  include /etc/nginx/conf.d/tile_qos_cookies.map;
39 # }
40
41 map $http_user_agent $approved_scraper {
42   default                   0; # Not approved
43   '~^JOSM\/'                1; # JOSM
44   '~^Mozilla\/5\.0\ QGIS\/' 1; # QGIS
45 }
46
47 map $http_user_agent $denied_scraper {
48   default                0; # Not denied
49   ''                     1; # No User-Agent Set
50   '~^Python\-urllib\/'   1; # Library Default
51   '~^python\-requests\/' 1; # Library Default
52   '~^node\-fetch\/'      1; # Library Default
53   '~^R$'                 1; # Library Default
54   '~^Java\/'             1; # Library Default
55   '~^tiles$'             1; # Library Default
56   '~^okhttp\/'           1; # Library Default
57   '~^runtastic'          1; # App
58   'Android'              1; # Default or fake
59   'Mozilla/4.0'          1; # Fake
60   'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)' 1;  # Fake
61   '~^Where\ my\ children' 1; # App
62   'nossoonibusjp.android.crosswalk' 1; # App
63   'br.com.concisoti.potybus' 1; # App
64 }
65
66 map $http_referer $denied_referer {
67   default                          0; # Not denied
68   'http://www.openstreetmap.org/'  1; # Faked
69   'http://www.openstreetmap.org'   1; # Faked
70   'http://openstreetmap.org/'      1; # Faked
71   'http://openstreetmap.org'       1; # Faked
72   'http://www.osm.org/'            1; # Faked
73   'http://www.osm.org'             1; # Faked
74   'http://osm.org/'                1; # Faked
75   'http://osm.org'                 1; # Faked
76   '~^https?://pmap\.kuku\.lu/'           1; # Too much traffic
77   '~^https?://[^.]*\.pmap\.kuku\.lu/'    1; # Too much traffic
78   '~^https?://fastpokemap\.com/'         1; # Too much traffic
79   '~^https?://[^.]*\.fastpokemap\.com/'  1; # Too much traffic
80   '~^https?://pkget\.com/'               1; # Too much traffic
81   '~^https?://[^.]*\.pkget\.com/'        1; # Too much traffic
82   '~^https?://twpkinfo\.com/'            1; # Too much traffic
83   '~^https?://[^.]*\.twpkinfo\.com/'     1; # Too much traffic
84 }
85
86 map $http_referer $osm_referer {
87   default                                 '';    # False
88   '~^https:\/\/www\.openstreetmap\.org\/' 'osm'; # True
89 }
90
91 # Limit Cache-Control header to only approved User-Agents
92 map $osm_referer$http_user_agent $limit_http_cache_control {
93   default '';                                # Unset Header
94   '~^osmMozilla\/5\.0\ QGIS\/' '';            # Unset Header
95   '~^osmMozilla\/5\.0\ ' $http_cache_control; # Pass Header
96 }
97
98 # Limit Pragma header to only approved User-Agents
99 map $osm_referer$http_user_agent $limit_http_pragma {
100   default '';                          # Unset Header
101   '~^osmMozilla\/5\.0\ QGIS\/' '';     # Unset Header
102   '~^osmMozilla\/5\.0\ ' $http_pragma; # Pass Header
103 }
104
105 server {
106     # IPv4
107     listen       80 deferred backlog=16384 reuseport fastopen=2048 default_server;
108     listen       443 ssl deferred backlog=16384 reuseport fastopen=2048 http2 default_server;
109     # IPv6
110     listen       [::]:80 deferred backlog=16384 reuseport fastopen=2048 default_server;
111     listen       [::]:443 ssl deferred backlog=16384 reuseport fastopen=2048 http2 default_server;
112     server_name  localhost;
113
114     proxy_buffers 8 64k;
115     proxy_busy_buffers_size 64k;
116
117     ssl_certificate      /etc/ssl/certs/tile.openstreetmap.org.pem;
118     ssl_certificate_key  /etc/ssl/private/tile.openstreetmap.org.key;
119
120     # Requests sent within early data are subject to replay attacks.
121     # See: http://nginx.org/en/docs/http/ngx_http_ssl_module.html#ssl_early_data
122     ssl_early_data on;
123
124     # Immediately 404 layers we do not support
125 <% for i in 20..99 do %>
126     location /<%= i %>/ {
127       set $limit_rate 512;
128       return 404;
129     }
130 <% end %>
131
132     # Immediately 404 silly tile requests
133     location = /0/0/-1.png {
134       set $limit_rate 512;
135       return 404;
136     }
137     location = /1/0/-1.png {
138       set $limit_rate 512;
139       return 404;
140     }
141     location = /1/-1/0.png {
142       set $limit_rate 512;
143       return 404;
144     }
145     location = /1/-1/1.png {
146       set $limit_rate 512;
147       return 404;
148     }
149     location = /1/-1/-1.png {
150       set $limit_rate 512;
151       return 404;
152     }
153     location = /1/-1/2.png {
154       set $limit_rate 512;
155       return 404;
156     }
157     location = /1/1/-1.png {
158       set $limit_rate 512;
159       return 404;
160     }
161     location = /1/2/-1.png {
162       set $limit_rate 512;
163       return 404;
164     }
165     location = /2/0/-1.png {
166       set $limit_rate 512;
167       return 404;
168     }
169     location = /2/-1/0.png {
170       set $limit_rate 512;
171       return 404;
172     }
173     location = /2/-1/1.png {
174       set $limit_rate 512;
175       return 404;
176     }
177     location = /2/1/-1.png {
178       set $limit_rate 512;
179       return 404;
180     }
181     location = /2/-1/2.png {
182       set $limit_rate 512;
183       return 404;
184     }
185     location = /2/-1/3.png {
186       set $limit_rate 512;
187       return 404;
188     }
189
190 <% for i in 0..15 do %>
191 <% if i == 0 -%>
192     # Default Fallback Location Handler (lowest)
193     location / {
194 <% elsif -%>
195     # Dedicated zoom handler for caching
196     location /<%= i %>/ {
197 <% end %>
198       # Only allow GET / HEAD / OPTIONS (CORS) requests
199       limit_except GET HEAD OPTIONS {
200         deny all;
201       }
202
203       proxy_pass http://tile_cache_backend;
204       proxy_set_header X-Forwarded-For $remote_addr;
205       proxy_http_version 1.1;
206       proxy_set_header Connection '';
207
208       proxy_connect_timeout 10s;
209
210       # Replace host header.
211       proxy_set_header Host 'tile.openstreetmap.org';
212       # Do not pass cookies to backends.
213       proxy_set_header Cookie '';
214       # Do not pass Accept-Encoding to backends.
215       proxy_set_header Accept-Encoding '';
216       # Do not pass Accept to backends.
217       proxy_set_header Accept '';
218       # Do not pass Accept-Language to backends as unused.
219       proxy_set_header Accept-Language '';
220       proxy_set_header Accept-Charset '';
221       # Do not send origin, we allow all.
222       proxy_set_header origin '';
223       # Do not pass invalid headers to backend.
224       proxy_set_header X-Forwarded-Host '';
225       proxy_set_header X-Host '';
226       proxy_set_header Authorization '';
227       proxy_set_header Proxy-Authorization '';
228
229       # Drop partial requests
230       proxy_set_header range '';
231
232       # Do not allow setting cookies from backends due to caching.
233       proxy_ignore_headers Set-Cookie;
234       proxy_hide_header Set-Cookie;
235
236 <% if i != 0 -%>
237       # Caching
238       proxy_cache "proxy_cache_zone";
239       proxy_cache_lock on;
240       proxy_cache_valid 200 1d;
241       proxy_cache_valid 404 15m;
242       # Serve stale cache on errors or if updating
243       proxy_cache_use_stale error timeout updating http_404 http_500 http_503 http_504;
244       # If in cache as stale, serve stale and update in background
245       proxy_cache_background_update on;
246       # Enable revalidation using If-Modified-Since and If-None-Match for stale items
247       proxy_cache_revalidate on;
248       proxy_cache_min_uses 8;
249
250       add_header x-cache-status $upstream_cache_status;
251 <% end -%>
252
253       # Set a QoS cookie if none presented (uses nginx Map)
254       # add_header Set-Cookie $cookie_qos_token_set;
255 <% if node[:ssl][:strict_transport_security] -%>
256       # Ensure Strict-Transport-Security header is removed from proxied server responses
257       proxy_hide_header Strict-Transport-Security;
258
259       # Enable HSTS
260       add_header Strict-Transport-Security "<%= node[:ssl][:strict_transport_security] %>" always;
261 <% end -%>
262
263       # QoS Traffic Rate see $limit_rate on http://nginx.org/en/docs/http/ngx_http_core_module.html
264       # set $limit_rate $limit_rate_qos;
265
266       # Allow Higher Traffic Rate from Approved User-Agents which do not support cookies (uses nginx Map)
267       # if ($approved_scraper) {
268       #   set $limit_rate 65536;
269       # }
270
271       if ($denied_scraper) {
272         set $limit_rate 512;
273         return 429;
274       }
275       if ($denied_referer) {
276         set $limit_rate 512;
277         return 418;
278       }
279
280       # Strip any ?query parameters from urls
281       set $args '';
282
283       # Allow cache purging headers only from select User-Agents (uses nginx Map)
284       proxy_set_header Cache-Control $limit_http_cache_control;
285       proxy_set_header Pragma $limit_http_pragma;
286     }
287 <% end %>
288 }