]> git.openstreetmap.org Git - chef.git/blob - cookbooks/tilecache/templates/default/nginx_tile.conf.erb
tilecache: block node-fetch UA
[chef.git] / cookbooks / tilecache / templates / default / nginx_tile.conf.erb
1 # DO NOT EDIT - This file is being maintained by Chef
2
3 upstream tile_cache_backend {
4   server 127.0.0.1;
5
6   # Add the other caches to relieve pressure if local squid failing
7   # Balancer: round-robin
8 <% @caches.each do |cache| -%>
9 <% if cache[:hostname] != node[:hostname] -%>
10 <% if node[:tilecache][:tile_siblings].include? cache[:fqdn] -%>
11 <% cache.ipaddresses(:family => :inet, :role => :external).sort.each do |address| -%>
12   server <%= address %> backup; # Server <%= cache[:hostname] %>
13 <% end -%>
14 <% end -%>
15 <% end -%>
16 <% end -%>
17
18   keepalive 256;
19 }
20
21 # Geo Map of tile caches
22 geo $tile_cache {
23   default 0;
24 <% @caches.each do |cache| -%>
25 <% cache.ipaddresses(:family => :inet, :role => :external).sort.each do |address| -%>
26   <%= address %> 1; # <%= cache[:hostname] %>
27 <% end -%>
28 <% end -%>
29 }
30
31 # Rates table based on current cookie value
32 map $cookie_qos_token $limit_rate_qos {
33   include /etc/nginx/conf.d/tile_qos_rates.map;
34 }
35
36 # Set-Cookie table based on current cookie value
37 map $cookie_qos_token $cookie_qos_token_set {
38   include /etc/nginx/conf.d/tile_qos_cookies.map;
39 }
40
41 map $http_user_agent $approved_scraper {
42   default                   0; # Not approved
43   '~^JOSM\/'                1; # JOSM
44   '~^Mozilla\/5\.0\ QGIS\/' 1; # QGIS
45 }
46
47 map $http_user_agent $denied_scraper {
48   default                0; # Not denied
49   '~^Python\-urllib\/'   1; # Library Default
50   '~^python\-requests\/' 1; # Library Default
51   '~^node\-fetch\/'      1; # Library Default
52   '~^R$'                 1; # Library Default
53   '~^Java\/'             1; # Library Default
54   '~^tiles$'             1; # Library Default
55   '~^Dalvik\/'           1; # Library Default
56   '~^runtastic'          1; # App
57   'Mozilla/4.0'          1; # Fake
58   'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)' 1;  # Fake
59 }
60
61 map $http_referer $denied_referer {
62   default                          0; # Not denied
63   'http://www.openstreetmap.org/'  1; # Faked
64   'http://www.openstreetmap.org'   1; # Faked
65   'http://openstreetmap.org/'      1; # Faked
66   'http://openstreetmap.org'       1; # Faked
67   'http://www.osm.org/'            1; # Faked
68   'http://www.osm.org'             1; # Faked
69   'http://osm.org/'                1; # Faked
70   'http://osm.org'                 1; # Faked
71 }
72
73 # Limit Cache-Control header to only approved User-Agents
74 map $http_user_agent $limit_http_cache_control {
75   default '';                              # Unset Header
76   '~^Mozilla\/5\.0\ QGIS\/' '';            # Unset Header
77   '~^Mozilla\/5\.0\ ' $http_cache_control; # Pass Header
78 }
79
80 # Limit Pragma header to only approved User-Agents
81 map $http_user_agent $limit_http_pragma {
82   default '';                       # Unset Header
83   '~^Mozilla\/5\.0\ QGIS\/' '';     # Unset Header
84   '~^Mozilla\/5\.0\ ' $http_pragma; # Pass Header
85 }
86
87 server {
88     listen       443 ssl fastopen=2048 http2 default_server;
89     server_name  localhost;
90
91     proxy_buffers 8 64k;
92
93     ssl_certificate      /etc/ssl/certs/tile.openstreetmap.org.pem;
94     ssl_certificate_key  /etc/ssl/private/tile.openstreetmap.org.key;
95
96     location / {
97       proxy_pass http://tile_cache_backend;
98       proxy_set_header X-Forwarded-For $remote_addr;
99       proxy_http_version 1.1;
100       proxy_set_header Connection '';
101
102       proxy_connect_timeout 5s;
103
104       # Preserve host header.
105       proxy_set_header Host $host;
106       # Do not pass cookies to backends.
107       proxy_set_header Cookie '';
108       # Do not pass Accept-Encoding to backends.
109       proxy_set_header Accept-Encoding '';
110
111       # Do not allow setting cookies from backends due to caching.
112       proxy_ignore_headers Set-Cookie;
113       proxy_hide_header Set-Cookie;
114
115       # Set a QoS cookie if none presented (uses nginx Map)
116       add_header Set-Cookie $cookie_qos_token_set;
117 <% if node[:ssl][:strict_transport_security] -%>
118       # Ensure Strict-Transport-Security header is removed from proxied server responses
119       proxy_hide_header Strict-Transport-Security;
120
121       # Enable HSTS
122       add_header Strict-Transport-Security "<%= node[:ssl][:strict_transport_security] %>" always;
123 <% end -%>
124
125       # QoS Traffic Rate see $limit_rate on http://nginx.org/en/docs/http/ngx_http_core_module.html
126       set $limit_rate $limit_rate_qos;
127
128       # Allow Higher Traffic Rate from Approved User-Agents which do not support cookies (uses nginx Map)
129       if ($approved_scraper) {
130         set $limit_rate 65536;
131       }
132
133       if ($denied_scraper) {
134         set $limit_rate 512;
135         return 429;
136       }
137       if ($denied_referer) {
138         set $limit_rate 512;
139         return 418;
140       }
141
142       # Strip any ?query parameters from urls
143       set $args '';
144
145       # Allow cache purging headers only from select User-Agents (uses nginx Map)
146       proxy_set_header Cache-Control $limit_http_cache_control;
147       proxy_set_header Pragma $limit_http_pragma;
148     }
149 }