tilecache: use stale cache over 404
[chef.git] / cookbooks / tilecache / templates / default / nginx_tile.conf.erb
1 # DO NOT EDIT - This file is being maintained by Chef
2
3 upstream tile_cache_backend {
4   server 127.0.0.1:8080;
5   server 127.0.0.2:8080;
6
7   # Add the other caches to relieve pressure if local squid failing
8   # Balancer: round-robin
9 <% @caches.each do |cache| -%>
10 <% if cache[:hostname] != node[:hostname] -%>
11 <% cache.ipaddresses(:family => :inet, :role => :external).sort.each do |address| -%>
12   server <%= address %>:80 backup; # Server <%= cache[:hostname] %>
13 <% end -%>
14 <% end -%>
15 <% end -%>
16
17   keepalive 512;
18   keepalive_requests 1024;
19 }
20
21 # Geo Map of tile caches
22 geo $tile_cache {
23   default 0;
24 <% @caches.each do |cache| -%>
25 <% cache.ipaddresses(:family => :inet, :role => :external).sort.each do |address| -%>
26   <%= address %> 1; # <%= cache[:hostname] %>
27 <% end -%>
28 <% end -%>
29 }
30
31 # Rates table based on current cookie value
32 map $cookie__osm_totp_token $limit_rate_qos {
33   include /etc/nginx/conf.d/tile_qos_rates.map;
34 }
35
36 # Set-Cookie table based on current cookie value
37 map $cookie__osm_totp_token $cookie_qos_token_set {
38   include /etc/nginx/conf.d/tile_qos_cookies.map;
39 }
40
41 map $http_user_agent $approved_scraper {
42   default                   0; # Not approved
43   '~^JOSM\/'                1; # JOSM
44   '~^Mozilla\/5\.0\ QGIS\/' 1; # QGIS
45 }
46
47 map $http_user_agent $denied_scraper {
48   default                0; # Not denied
49   ''                     1; # No User-Agent Set
50   '~^Python\-urllib\/'   1; # Library Default
51   '~^python\-requests\/' 1; # Library Default
52   '~^node\-fetch\/'      1; # Library Default
53   '~^R$'                 1; # Library Default
54   '~^Java\/'             1; # Library Default
55   '~^tiles$'             1; # Library Default
56   '~^runtastic'          1; # App
57   'Mozilla/4.0'          1; # Fake
58   'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)' 1;  # Fake
59 }
60
61 map $http_referer $denied_referer {
62   default                          0; # Not denied
63   'http://www.openstreetmap.org/'  1; # Faked
64   'http://www.openstreetmap.org'   1; # Faked
65   'http://openstreetmap.org/'      1; # Faked
66   'http://openstreetmap.org'       1; # Faked
67   'http://www.osm.org/'            1; # Faked
68   'http://www.osm.org'             1; # Faked
69   'http://osm.org/'                1; # Faked
70   'http://osm.org'                 1; # Faked
71 }
72
73 map $http_referer $osm_referer {
74   default                                 '';    # False
75   '~^https:\/\/www\.openstreetmap\.org\/' 'osm'; # True
76 }
77
78 # Limit Cache-Control header to only approved User-Agents
79 map $osm_referer$http_user_agent $limit_http_cache_control {
80   default '';                                # Unset Header
81   '~^osmMozilla\/5\.0\ QGIS\/' '';            # Unset Header
82   '~^osmMozilla\/5\.0\ ' $http_cache_control; # Pass Header
83 }
84
85 # Limit Pragma header to only approved User-Agents
86 map $osm_referer$http_user_agent $limit_http_pragma {
87   default '';                          # Unset Header
88   '~^osmMozilla\/5\.0\ QGIS\/' '';     # Unset Header
89   '~^osmMozilla\/5\.0\ ' $http_pragma; # Pass Header
90 }
91
92 server {
93     # IPv4
94     listen       80 deferred backlog=16384 reuseport fastopen=2048 default_server;
95     listen       443 ssl deferred backlog=16384 reuseport fastopen=2048 http2 default_server;
96     # IPv6
97     listen       [::]:80 deferred backlog=16384 reuseport fastopen=2048 default_server;
98     listen       [::]:443 ssl deferred backlog=16384 reuseport fastopen=2048 http2 default_server;
99     server_name  localhost;
100
101     proxy_buffers 8 64k;
102     proxy_busy_buffers_size 64k;
103
104     ssl_certificate      /etc/ssl/certs/tile.openstreetmap.org.pem;
105     ssl_certificate_key  /etc/ssl/private/tile.openstreetmap.org.key;
106
107     # Requests sent within early data are subject to replay attacks.
108     # See: http://nginx.org/en/docs/http/ngx_http_ssl_module.html#ssl_early_data
109     ssl_early_data on;
110
111     # Immediately 404 layers we do not support
112 <% for i in 20..99 do %>
113     location /<%= i %>/ {
114       set $limit_rate 512;
115       return 404;
116     }
117 <% end %>
118
119     # Immediately 404 silly tile requests
120     location = /0/0/-1.png {
121       set $limit_rate 512;
122       return 404;
123     }
124     location = /1/0/-1.png {
125       set $limit_rate 512;
126       return 404;
127     }
128     location = /1/-1/0.png {
129       set $limit_rate 512;
130       return 404;
131     }
132     location = /1/-1/1.png {
133       set $limit_rate 512;
134       return 404;
135     }
136     location = /1/-1/-1.png {
137       set $limit_rate 512;
138       return 404;
139     }
140     location = /1/-1/2.png {
141       set $limit_rate 512;
142       return 404;
143     }
144     location = /1/1/-1.png {
145       set $limit_rate 512;
146       return 404;
147     }
148     location = /1/2/-1.png {
149       set $limit_rate 512;
150       return 404;
151     }
152     location = /2/0/-1.png {
153       set $limit_rate 512;
154       return 404;
155     }
156     location = /2/-1/0.png {
157       set $limit_rate 512;
158       return 404;
159     }
160     location = /2/-1/1.png {
161       set $limit_rate 512;
162       return 404;
163     }
164     location = /2/1/-1.png {
165       set $limit_rate 512;
166       return 404;
167     }
168     location = /2/-1/2.png {
169       set $limit_rate 512;
170       return 404;
171     }
172     location = /2/-1/3.png {
173       set $limit_rate 512;
174       return 404;
175     }
176
177 <% for i in 0..14 do %>
178 <% if i == 0 -%>
179     # Default Fallback Location Handler (lowest)
180     location / {
181 <% elsif -%>
182     # Dedicated zoom handler for caching
183     location /<%= i %>/ {
184 <% end %>
185       # Only allow GET / HEAD / OPTIONS (CORS) requests
186       limit_except GET HEAD OPTIONS {
187         deny all;
188       }
189
190       proxy_pass http://tile_cache_backend;
191       proxy_set_header X-Forwarded-For $remote_addr;
192       proxy_http_version 1.1;
193       proxy_set_header Connection '';
194
195       proxy_connect_timeout 10s;
196
197       # Replace host header.
198       proxy_set_header Host 'tile.openstreetmap.org';
199       # Do not pass cookies to backends.
200       proxy_set_header Cookie '';
201       # Do not pass Accept-Encoding to backends.
202       proxy_set_header Accept-Encoding '';
203       # Do not pass Accept to backends.
204       proxy_set_header Accept '';
205       # Do not pass Accept-Language to backends as unused.
206       proxy_set_header Accept-Language '';
207       proxy_set_header Accept-Charset '';
208       # Do not send origin, we allow all.
209       proxy_set_header origin '';
210       # Do not pass invalid headers to backend.
211       proxy_set_header X-Forwarded-Host '';
212       proxy_set_header X-Host '';
213       proxy_set_header Authorization '';
214       proxy_set_header Proxy-Authorization '';
215
216       # Drop partial requests
217       proxy_set_header range '';
218
219       # Do not allow setting cookies from backends due to caching.
220       proxy_ignore_headers Set-Cookie;
221       proxy_hide_header Set-Cookie;
222
223 <% if i != 0 -%>
224       # Caching
225       proxy_cache "proxy_cache_zone";
226       proxy_cache_lock on;
227       proxy_cache_valid 200 1d;
228       proxy_cache_valid 404 15m;
229       # Serve stale cache on errors or if updating
230       proxy_cache_use_stale error timeout updating http_404 http_500 http_503 http_504;
231       # If in cache as stale, serve stale and update in background
232       proxy_cache_background_update on;
233       # Enable revalidation using If-Modified-Since and If-None-Match for stale items
234       proxy_cache_revalidate on;
235       proxy_cache_min_uses 8;
236
237       add_header x-cache-status $upstream_cache_status;
238 <% end -%>
239
240       # Set a QoS cookie if none presented (uses nginx Map)
241       add_header Set-Cookie $cookie_qos_token_set;
242 <% if node[:ssl][:strict_transport_security] -%>
243       # Ensure Strict-Transport-Security header is removed from proxied server responses
244       proxy_hide_header Strict-Transport-Security;
245
246       # Enable HSTS
247       add_header Strict-Transport-Security "<%= node[:ssl][:strict_transport_security] %>" always;
248 <% end -%>
249
250       # QoS Traffic Rate see $limit_rate on http://nginx.org/en/docs/http/ngx_http_core_module.html
251       set $limit_rate $limit_rate_qos;
252
253       # Allow Higher Traffic Rate from Approved User-Agents which do not support cookies (uses nginx Map)
254       if ($approved_scraper) {
255         set $limit_rate 65536;
256       }
257
258       if ($denied_scraper) {
259         set $limit_rate 512;
260         return 429;
261       }
262       if ($denied_referer) {
263         set $limit_rate 512;
264         return 418;
265       }
266
267       # Strip any ?query parameters from urls
268       set $args '';
269
270       # Allow cache purging headers only from select User-Agents (uses nginx Map)
271       proxy_set_header Cache-Control $limit_http_cache_control;
272       proxy_set_header Pragma $limit_http_pragma;
273     }
274 <% end %>
275 }