]> git.openstreetmap.org Git - chef.git/blob - cookbooks/tilecache/templates/default/nginx_tile.conf.erb
tilecache: nginx firm up caching
[chef.git] / cookbooks / tilecache / templates / default / nginx_tile.conf.erb
1 # DO NOT EDIT - This file is being maintained by Chef
2
3 upstream tile_cache_backend {
4   server 127.0.0.1:8080;
5   server 127.0.0.2:8080;
6
7   # Add the other caches to relieve pressure if local squid failing
8   # Balancer: round-robin
9 <% @caches.each do |cache| -%>
10 <% if cache[:hostname] != node[:hostname] -%>
11 <% cache.ipaddresses(:family => :inet, :role => :external).sort.each do |address| -%>
12   server <%= address %>:80 backup; # Server <%= cache[:hostname] %>
13 <% end -%>
14 <% end -%>
15 <% end -%>
16
17   keepalive 512;
18   keepalive_requests 1024;
19 }
20
21 # Geo Map of tile caches
22 geo $tile_cache {
23   default 0;
24 <% @caches.each do |cache| -%>
25 <% cache.ipaddresses(:family => :inet, :role => :external).sort.each do |address| -%>
26   <%= address %> 1; # <%= cache[:hostname] %>
27 <% end -%>
28 <% end -%>
29 }
30
31 # Rates table based on current cookie value
32 # map $cookie__osm_totp_token $limit_rate_qos {
33 #  include /etc/nginx/conf.d/tile_qos_rates.map;
34 # }
35
36 # Set-Cookie table based on current cookie value
37 # map $cookie__osm_totp_token $cookie_qos_token_set {
38 #  include /etc/nginx/conf.d/tile_qos_cookies.map;
39 # }
40
41 map $http_user_agent $approved_scraper {
42   default                   0; # Not approved
43   '~^JOSM\/'                1; # JOSM
44   '~^Mozilla\/5\.0\ QGIS\/' 1; # QGIS
45 }
46
47 map $http_user_agent $denied_scraper {
48   default                0; # Not denied
49   ''                     1; # No User-Agent Set
50   '~^Python\-urllib\/'   1; # Library Default
51   '~^python\-requests\/' 1; # Library Default
52   '~^node\-fetch\/'      1; # Library Default
53   '~^R$'                 1; # Library Default
54   '~^Java\/'             1; # Library Default
55   '~^tiles$'             1; # Library Default
56   '~^okhttp\/'           1; # Library Default
57   '~^Microsoft-ATL-Native\/' 1; #Library Default
58   '/n software IPWorks HTTP/S Component - www.nsoftware.com' 1; #Library default
59   'C# TilesDownloader'   1; # Downloader
60   'MapDownloader'        1; # Downloader
61   'Android'              1; # Default or fake
62   'kc_android'           1; # Default or fake
63   'Mozilla/4.0'          1; # Fake
64   'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)' 1;  # Fake
65   '~^runtastic'          1; # App
66   '~^Where\ my\ children' 1; # App
67   'nossoonibusjp.android.crosswalk' 1; # App
68   'br.com.concisoti.potybus' 1; # App
69   'com.soft373.taptaxi'  1;
70   'com.kradac.ktxcore'   1;
71   'ru.crowdsystems.topcontrol.knd' 1;
72 }
73
74 map $http_referer $denied_referer {
75   default                          0; # Not denied
76   'http://www.openstreetmap.org/'  1; # Faked
77   'http://www.openstreetmap.org'   1; # Faked
78   'http://openstreetmap.org/'      1; # Faked
79   'http://openstreetmap.org'       1; # Faked
80   'http://www.osm.org/'            1; # Faked
81   'http://www.osm.org'             1; # Faked
82   'http://osm.org/'                1; # Faked
83   'http://osm.org'                 1; # Faked
84   '~^http://google\.com'           1; # Faked
85   '~^http://www\.google\.com'      1; # Faked
86   '~^https?://pmap\.kuku\.lu/'           1; # Too much traffic
87   '~^https?://[^.]*\.pmap\.kuku\.lu/'    1; # Too much traffic
88   '~^https?://fastpokemap\.com/'         1; # Too much traffic
89   '~^https?://[^.]*\.fastpokemap\.com/'  1; # Too much traffic
90   '~^https?://pkget\.com/'               1; # Too much traffic
91   '~^https?://[^.]*\.pkget\.com/'        1; # Too much traffic
92   '~^https?://twpkinfo\.com/'            1; # Too much traffic
93   '~^https?://[^.]*\.twpkinfo\.com/'     1; # Too much traffic
94 }
95
96 map $http_referer $osm_referer {
97   default                                 '';    # False
98   '~^https:\/\/www\.openstreetmap\.org\/' 'osm'; # True
99 }
100
101 # Limit Cache-Control header to only approved User-Agents
102 map $osm_referer$http_user_agent $limit_http_cache_control {
103   default '';                                # Unset Header
104   '~^osmMozilla\/5\.0\ QGIS\/' '';            # Unset Header
105   '~^osmMozilla\/5\.0\ ' $http_cache_control; # Pass Header
106 }
107
108 # Limit Pragma header to only approved User-Agents
109 map $osm_referer$http_user_agent $limit_http_pragma {
110   default '';                          # Unset Header
111   '~^osmMozilla\/5\.0\ QGIS\/' '';     # Unset Header
112   '~^osmMozilla\/5\.0\ ' $http_pragma; # Pass Header
113 }
114
115 server {
116     # IPv4
117     listen       80 deferred backlog=16384 reuseport fastopen=2048 default_server;
118     listen       443 ssl deferred backlog=16384 reuseport fastopen=2048 http2 default_server;
119     # IPv6
120     listen       [::]:80 deferred backlog=16384 reuseport fastopen=2048 default_server;
121     listen       [::]:443 ssl deferred backlog=16384 reuseport fastopen=2048 http2 default_server;
122     server_name  localhost;
123
124     proxy_buffers 8 64k;
125     proxy_busy_buffers_size 64k;
126
127     ssl_certificate      /etc/ssl/certs/tile.openstreetmap.org.pem;
128     ssl_certificate_key  /etc/ssl/private/tile.openstreetmap.org.key;
129
130     # Requests sent within early data are subject to replay attacks.
131     # See: http://nginx.org/en/docs/http/ngx_http_ssl_module.html#ssl_early_data
132     ssl_early_data on;
133
134     # Immediately 404 layers we do not support
135 <% for i in 20..99 do %>
136     location /<%= i %>/ {
137       set $limit_rate 512;
138       return 404;
139     }
140 <% end %>
141
142     # Immediately 404 silly tile requests
143     location = /0/0/-1.png {
144       set $limit_rate 512;
145       return 404;
146     }
147     location = /1/0/-1.png {
148       set $limit_rate 512;
149       return 404;
150     }
151     location = /1/-1/0.png {
152       set $limit_rate 512;
153       return 404;
154     }
155     location = /1/-1/1.png {
156       set $limit_rate 512;
157       return 404;
158     }
159     location = /1/-1/-1.png {
160       set $limit_rate 512;
161       return 404;
162     }
163     location = /1/-1/2.png {
164       set $limit_rate 512;
165       return 404;
166     }
167     location = /1/1/-1.png {
168       set $limit_rate 512;
169       return 404;
170     }
171     location = /1/2/-1.png {
172       set $limit_rate 512;
173       return 404;
174     }
175     location = /2/0/-1.png {
176       set $limit_rate 512;
177       return 404;
178     }
179     location = /2/-1/0.png {
180       set $limit_rate 512;
181       return 404;
182     }
183     location = /2/-1/1.png {
184       set $limit_rate 512;
185       return 404;
186     }
187     location = /2/1/-1.png {
188       set $limit_rate 512;
189       return 404;
190     }
191     location = /2/-1/2.png {
192       set $limit_rate 512;
193       return 404;
194     }
195     location = /2/-1/3.png {
196       set $limit_rate 512;
197       return 404;
198     }
199
200 <% for i in 0..16 do %>
201 <% if i == 0 -%>
202     # Default Fallback Location Handler (lowest)
203     location / {
204 <% elsif -%>
205     # Dedicated zoom handler for caching
206     location /<%= i %>/ {
207 <% end %>
208       # Only allow GET / HEAD / OPTIONS (CORS) requests
209       limit_except GET HEAD OPTIONS {
210         deny all;
211       }
212
213       proxy_pass http://tile_cache_backend;
214       proxy_set_header X-Forwarded-For $remote_addr;
215       proxy_http_version 1.1;
216       proxy_set_header Connection '';
217
218       proxy_connect_timeout 20s;
219
220       # Replace host header.
221       proxy_set_header Host 'tile.openstreetmap.org';
222       # Do not pass cookies to backends.
223       proxy_set_header Cookie '';
224       # Do not pass Accept-Encoding to backends.
225       proxy_set_header Accept-Encoding '';
226       # Do not pass Accept to backends.
227       proxy_set_header Accept '';
228       # Do not pass Accept-Language to backends as unused.
229       proxy_set_header Accept-Language '';
230       proxy_set_header Accept-Charset '';
231       # Do not send origin, we allow all.
232       proxy_set_header origin '';
233       # Do not pass invalid headers to backend.
234       proxy_set_header X-Forwarded-Host '';
235       proxy_set_header X-Host '';
236       proxy_set_header Authorization '';
237       proxy_set_header Proxy-Authorization '';
238
239       # Drop partial requests
240       proxy_set_header range '';
241
242       # Do not allow setting cookies from backends due to caching.
243       proxy_ignore_headers Set-Cookie;
244       proxy_hide_header Set-Cookie;
245
246 <% if i != 0 -%>
247       # Caching
248       proxy_cache "proxy_cache_zone";
249       proxy_cache_lock on;
250       proxy_cache_valid 200 2d;
251       proxy_cache_valid 404 15m;
252       # Serve stale cache on errors or if updating
253       proxy_cache_use_stale error timeout updating http_404 http_500 http_503 http_504;
254       # If in cache as stale, serve stale and update in background
255       proxy_cache_background_update on;
256       # Workaround nginx async bug which causes stale cache replies to wait for the async backend cache update reply (seen in v1.16.0)
257       keepalive_requests 0;
258       # Enable revalidation using If-Modified-Since and If-None-Match for stale items
259       proxy_cache_revalidate on;
260       proxy_cache_min_uses 4;
261
262       add_header x-cache-status $upstream_cache_status;
263 <% end -%>
264
265       # Set a QoS cookie if none presented (uses nginx Map)
266       # add_header Set-Cookie $cookie_qos_token_set;
267 <% if node[:ssl][:strict_transport_security] -%>
268       # Ensure Strict-Transport-Security header is removed from proxied server responses
269       proxy_hide_header Strict-Transport-Security;
270
271       # Enable HSTS
272       add_header Strict-Transport-Security "<%= node[:ssl][:strict_transport_security] %>" always;
273 <% end -%>
274
275       # QoS Traffic Rate see $limit_rate on http://nginx.org/en/docs/http/ngx_http_core_module.html
276       # set $limit_rate $limit_rate_qos;
277
278       # Allow Higher Traffic Rate from Approved User-Agents which do not support cookies (uses nginx Map)
279       # if ($approved_scraper) {
280       #   set $limit_rate 65536;
281       # }
282
283       if ($denied_scraper) {
284         set $limit_rate 512;
285         return 429;
286       }
287       if ($denied_referer) {
288         set $limit_rate 512;
289         return 418;
290       }
291
292       # Strip any ?query parameters from urls
293       set $args '';
294
295       # Allow cache purging headers only from select User-Agents (uses nginx Map)
296       proxy_set_header Cache-Control $limit_http_cache_control;
297       proxy_set_header Pragma $limit_http_pragma;
298     }
299 <% end %>
300 }