tilecache: reject request without user-agent (try2)
[chef.git] / cookbooks / tilecache / templates / default / nginx_tile.conf.erb
1 # DO NOT EDIT - This file is being maintained by Chef
2
3 upstream tile_cache_backend {
4   server 127.0.0.1;
5
6   # Add the other caches to relieve pressure if local squid failing
7   # Balancer: round-robin
8 <% @caches.each do |cache| -%>
9 <% if cache[:hostname] != node[:hostname] -%>
10 <% if node[:tilecache][:tile_siblings].include? cache[:fqdn] -%>
11 <% cache.ipaddresses(:family => :inet, :role => :external).sort.each do |address| -%>
12   server <%= address %> backup; # Server <%= cache[:hostname] %>
13 <% end -%>
14 <% end -%>
15 <% end -%>
16 <% end -%>
17
18   keepalive 256;
19 }
20
21 # Geo Map of tile caches
22 geo $tile_cache {
23   default 0;
24 <% @caches.each do |cache| -%>
25 <% cache.ipaddresses(:family => :inet, :role => :external).sort.each do |address| -%>
26   <%= address %> 1; # <%= cache[:hostname] %>
27 <% end -%>
28 <% end -%>
29 }
30
31 # Rates table based on current cookie value
32 map $cookie_qos_token $limit_rate_qos {
33   include /etc/nginx/conf.d/tile_qos_rates.map;
34 }
35
36 # Set-Cookie table based on current cookie value
37 map $cookie_qos_token $cookie_qos_token_set {
38   include /etc/nginx/conf.d/tile_qos_cookies.map;
39 }
40
41 map $http_user_agent $approved_scraper {
42   default                   0; # Not approved
43   '~^JOSM\/'                1; # JOSM
44   '~^Mozilla\/5\.0\ QGIS\/' 1; # QGIS
45 }
46
47 map $http_user_agent $denied_scraper {
48   default                0; # Not denied
49   ''                     1; # No User-Agent Set
50   '~^Python\-urllib\/'   1; # Library Default
51   '~^python\-requests\/' 1; # Library Default
52   '~^node\-fetch\/'      1; # Library Default
53   '~^R$'                 1; # Library Default
54   '~^Java\/'             1; # Library Default
55   '~^tiles$'             1; # Library Default
56   '~^Dalvik\/'           1; # Library Default
57   '~^runtastic'          1; # App
58   'Mozilla/4.0'          1; # Fake
59   'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)' 1;  # Fake
60 }
61
62 map $http_referer $denied_referer {
63   default                          0; # Not denied
64   'http://www.openstreetmap.org/'  1; # Faked
65   'http://www.openstreetmap.org'   1; # Faked
66   'http://openstreetmap.org/'      1; # Faked
67   'http://openstreetmap.org'       1; # Faked
68   'http://www.osm.org/'            1; # Faked
69   'http://www.osm.org'             1; # Faked
70   'http://osm.org/'                1; # Faked
71   'http://osm.org'                 1; # Faked
72 }
73
74 # Limit Cache-Control header to only approved User-Agents
75 map $http_user_agent $limit_http_cache_control {
76   default '';                              # Unset Header
77   '~^Mozilla\/5\.0\ QGIS\/' '';            # Unset Header
78   '~^Mozilla\/5\.0\ ' $http_cache_control; # Pass Header
79 }
80
81 # Limit Pragma header to only approved User-Agents
82 map $http_user_agent $limit_http_pragma {
83   default '';                       # Unset Header
84   '~^Mozilla\/5\.0\ QGIS\/' '';     # Unset Header
85   '~^Mozilla\/5\.0\ ' $http_pragma; # Pass Header
86 }
87
88 server {
89     listen       443 ssl fastopen=2048 http2 default_server;
90     server_name  localhost;
91
92     proxy_buffers 8 64k;
93
94     ssl_certificate      /etc/ssl/certs/tile.openstreetmap.org.pem;
95     ssl_certificate_key  /etc/ssl/private/tile.openstreetmap.org.key;
96
97     location / {
98       proxy_pass http://tile_cache_backend;
99       proxy_set_header X-Forwarded-For $remote_addr;
100       proxy_http_version 1.1;
101       proxy_set_header Connection '';
102
103       proxy_connect_timeout 5s;
104
105       # Preserve host header.
106       proxy_set_header Host $host;
107       # Do not pass cookies to backends.
108       proxy_set_header Cookie '';
109       # Do not pass Accept-Encoding to backends.
110       proxy_set_header Accept-Encoding '';
111
112       # Do not allow setting cookies from backends due to caching.
113       proxy_ignore_headers Set-Cookie;
114       proxy_hide_header Set-Cookie;
115
116       # Set a QoS cookie if none presented (uses nginx Map)
117       add_header Set-Cookie $cookie_qos_token_set;
118 <% if node[:ssl][:strict_transport_security] -%>
119       # Ensure Strict-Transport-Security header is removed from proxied server responses
120       proxy_hide_header Strict-Transport-Security;
121
122       # Enable HSTS
123       add_header Strict-Transport-Security "<%= node[:ssl][:strict_transport_security] %>" always;
124 <% end -%>
125
126       # QoS Traffic Rate see $limit_rate on http://nginx.org/en/docs/http/ngx_http_core_module.html
127       set $limit_rate $limit_rate_qos;
128
129       # Allow Higher Traffic Rate from Approved User-Agents which do not support cookies (uses nginx Map)
130       if ($approved_scraper) {
131         set $limit_rate 65536;
132       }
133
134       if ($denied_scraper) {
135         set $limit_rate 512;
136         return 429;
137       }
138       if ($denied_referer) {
139         set $limit_rate 512;
140         return 418;
141       }
142
143       # Strip any ?query parameters from urls
144       set $args '';
145
146       # Allow cache purging headers only from select User-Agents (uses nginx Map)
147       proxy_set_header Cache-Control $limit_http_cache_control;
148       proxy_set_header Pragma $limit_http_pragma;
149     }
150 }