tilecache: allow nginx to fallback to other caches
[chef.git] / cookbooks / tilecache / templates / default / nginx_tile.conf.erb
1 # DO NOT EDIT - This file is being maintained by Chef
2
3 upstream tile_cache_backend {
4   server 127.0.0.1:80;
5   server 127.0.0.2:80;
6
7   # Add the other caches to relieve pressure if local squid failing
8   # Balancer: round-robin
9 <% @caches.each do |cache| -%>
10 <% if cache[:hostname] != node[:hostname] -%>
11 <% cache.ipaddresses(:family => :inet, :role => :external).sort.each do |address| -%>
12   server <%= address %>:80 backup; # Server <%= cache[:hostname] %>
13 <% end -%>
14 <% end -%>
15 <% end -%>
16
17   keepalive 512;
18   keepalive_requests 1024;
19 }
20
21 # Geo Map of tile caches
22 geo $tile_cache {
23   default 0;
24 <% @caches.each do |cache| -%>
25 <% cache.ipaddresses(:family => :inet, :role => :external).sort.each do |address| -%>
26   <%= address %> 1; # <%= cache[:hostname] %>
27 <% end -%>
28 <% end -%>
29 }
30
31 # Rates table based on current cookie value
32 map $cookie__osm_totp_token $limit_rate_qos {
33   include /etc/nginx/conf.d/tile_qos_rates.map;
34 }
35
36 # Set-Cookie table based on current cookie value
37 map $cookie__osm_totp_token $cookie_qos_token_set {
38   include /etc/nginx/conf.d/tile_qos_cookies.map;
39 }
40
41 map $http_user_agent $approved_scraper {
42   default                   0; # Not approved
43   '~^JOSM\/'                1; # JOSM
44   '~^Mozilla\/5\.0\ QGIS\/' 1; # QGIS
45 }
46
47 map $http_user_agent $denied_scraper {
48   default                0; # Not denied
49   ''                     1; # No User-Agent Set
50   '~^Python\-urllib\/'   1; # Library Default
51   '~^python\-requests\/' 1; # Library Default
52   '~^node\-fetch\/'      1; # Library Default
53   '~^R$'                 1; # Library Default
54   '~^Java\/'             1; # Library Default
55   '~^tiles$'             1; # Library Default
56   '~^runtastic'          1; # App
57   'Mozilla/4.0'          1; # Fake
58   'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)' 1;  # Fake
59 }
60
61 map $http_referer $denied_referer {
62   default                          0; # Not denied
63   'http://www.openstreetmap.org/'  1; # Faked
64   'http://www.openstreetmap.org'   1; # Faked
65   'http://openstreetmap.org/'      1; # Faked
66   'http://openstreetmap.org'       1; # Faked
67   'http://www.osm.org/'            1; # Faked
68   'http://www.osm.org'             1; # Faked
69   'http://osm.org/'                1; # Faked
70   'http://osm.org'                 1; # Faked
71 }
72
73 map $http_referer $osm_referer {
74   default                                 '';    # False
75   '~^https:\/\/www\.openstreetmap\.org\/' 'osm'; # True
76 }
77
78 # Limit Cache-Control header to only approved User-Agents
79 map $osm_referer$http_user_agent $limit_http_cache_control {
80   default '';                                # Unset Header
81   '~^osmMozilla\/5\.0\ QGIS\/' '';            # Unset Header
82   '~^osmMozilla\/5\.0\ ' $http_cache_control; # Pass Header
83 }
84
85 # Limit Pragma header to only approved User-Agents
86 map $osm_referer$http_user_agent $limit_http_pragma {
87   default '';                          # Unset Header
88   '~^osmMozilla\/5\.0\ QGIS\/' '';     # Unset Header
89   '~^osmMozilla\/5\.0\ ' $http_pragma; # Pass Header
90 }
91
92 server {
93     listen       443 ssl deferred backlog=16384 reuseport fastopen=2048 http2 default_server;
94     server_name  localhost;
95
96     proxy_buffers 8 64k;
97
98     ssl_certificate      /etc/ssl/certs/tile.openstreetmap.org.pem;
99     ssl_certificate_key  /etc/ssl/private/tile.openstreetmap.org.key;
100
101     # Requests sent within early data are subject to replay attacks.
102     # See: http://nginx.org/en/docs/http/ngx_http_ssl_module.html#ssl_early_data
103     ssl_early_data on;
104
105     # Immediately 404 layers we do not support
106 <% for i in 20..99 do %>
107     location /<%= i %>/ {
108       set $limit_rate 512;
109       return 404;
110     }
111 <% end %>
112
113     # Immediately 404 silly tile requests
114     location = /0/0/-1.png {
115       set $limit_rate 512;
116       return 404;
117     }
118     location = /1/0/-1.png {
119       set $limit_rate 512;
120       return 404;
121     }
122     location = /1/-1/0.png {
123       set $limit_rate 512;
124       return 404;
125     }
126     location = /1/-1/1.png {
127       set $limit_rate 512;
128       return 404;
129     }
130     location = /1/-1/-1.png {
131       set $limit_rate 512;
132       return 404;
133     }
134     location = /1/-1/2.png {
135       set $limit_rate 512;
136       return 404;
137     }
138     location = /1/1/-1.png {
139       set $limit_rate 512;
140       return 404;
141     }
142     location = /1/2/-1.png {
143       set $limit_rate 512;
144       return 404;
145     }
146     location = /2/0/-1.png {
147       set $limit_rate 512;
148       return 404;
149     }
150     location = /2/-1/0.png {
151       set $limit_rate 512;
152       return 404;
153     }
154     location = /2/-1/1.png {
155       set $limit_rate 512;
156       return 404;
157     }
158     location = /2/1/-1.png {
159       set $limit_rate 512;
160       return 404;
161     }
162     location = /2/-1/2.png {
163       set $limit_rate 512;
164       return 404;
165     }
166     location = /2/-1/3.png {
167       set $limit_rate 512;
168       return 404;
169     }
170
171 <% for i in 0..14 do %>
172 <% if i == 0 -%>
173     # Default Fallback Location Handler (lowest)
174     location / {
175 <% elsif -%>
176     # Dedicated zoom handler for caching
177     location /<%= i %>/ {
178 <% end %>
179       # Only allow GET / HEAD / OPTIONS (CORS) requests
180       limit_except GET HEAD OPTIONS {
181         deny all;
182       }
183
184       proxy_pass http://tile_cache_backend;
185       proxy_set_header X-Forwarded-For $remote_addr;
186       proxy_http_version 1.1;
187       proxy_set_header Connection '';
188
189       proxy_connect_timeout 10s;
190
191       # Replace host header.
192       proxy_set_header Host 'tile.openstreetmap.org';
193       # Do not pass cookies to backends.
194       proxy_set_header Cookie '';
195       # Do not pass Accept-Encoding to backends.
196       proxy_set_header Accept-Encoding '';
197       # Do not pass Accept to backends.
198       proxy_set_header Accept '';
199       # Do not pass Accept-Language to backends as unused.
200       proxy_set_header Accept-Language '';
201       proxy_set_header Accept-Charset '';
202       # Do not send origin, we allow all.
203       proxy_set_header origin '';
204       # Do not pass invalid headers to backend.
205       proxy_set_header X-Forwarded-Host '';
206       proxy_set_header X-Host '';
207       proxy_set_header Authorization '';
208       proxy_set_header Proxy-Authorization '';
209
210       # Drop partial requests
211       proxy_set_header range '';
212
213       # Do not allow setting cookies from backends due to caching.
214       proxy_ignore_headers Set-Cookie;
215       proxy_hide_header Set-Cookie;
216
217 <% if i != 0 -%>
218       # Caching
219       proxy_cache "proxy_cache_zone";
220       proxy_cache_lock on;
221       proxy_cache_valid 200 1d;
222       proxy_cache_valid 404 15m;
223       # Serve stale cache on errors or if updating
224       proxy_cache_use_stale error timeout updating http_500 http_503 http_504;
225       # If in cache as stale, serve stale and update in background
226       proxy_cache_background_update on;
227       proxy_cache_min_uses 8;
228
229       add_header X-Nginx-Cache-Status $upstream_cache_status;
230 <% end -%>
231
232       # Set a QoS cookie if none presented (uses nginx Map)
233       add_header Set-Cookie $cookie_qos_token_set;
234 <% if node[:ssl][:strict_transport_security] -%>
235       # Ensure Strict-Transport-Security header is removed from proxied server responses
236       proxy_hide_header Strict-Transport-Security;
237
238       # Enable HSTS
239       add_header Strict-Transport-Security "<%= node[:ssl][:strict_transport_security] %>" always;
240 <% end -%>
241
242       # QoS Traffic Rate see $limit_rate on http://nginx.org/en/docs/http/ngx_http_core_module.html
243       set $limit_rate $limit_rate_qos;
244
245       # Allow Higher Traffic Rate from Approved User-Agents which do not support cookies (uses nginx Map)
246       if ($approved_scraper) {
247         set $limit_rate 65536;
248       }
249
250       if ($denied_scraper) {
251         set $limit_rate 512;
252         return 429;
253       }
254       if ($denied_referer) {
255         set $limit_rate 512;
256         return 418;
257       }
258
259       # Strip any ?query parameters from urls
260       set $args '';
261
262       # Allow cache purging headers only from select User-Agents (uses nginx Map)
263       proxy_set_header Cache-Control $limit_http_cache_control;
264       proxy_set_header Pragma $limit_http_pragma;
265     }
266 <% end %>
267 }