]> git.openstreetmap.org Git - chef.git/blob - cookbooks/tile/templates/default/replicate.erb
Tile: Add historical shapefile redirect
[chef.git] / cookbooks / tile / templates / default / replicate.erb
1 #!/bin/bash
2
3 # DO NOT EDIT - This file is being maintained by Chef
4
5 # Initialize timestamp with day of latest planet dump
6 # Setting to midnight ensures we get conistent data after first run
7 # osmosis --read-replication-interval-init
8
9 # Send output to the log
10 exec > /var/log/tile/replicate.log 2>&1
11
12 # Change to the replication state directory
13 cd /var/lib/replicate
14
15 # Read in initial state
16 . state.txt
17
18 # Loop indefinitely
19 while true
20 do
21     # Work out the name of the next file
22     file="changes-${sequenceNumber}.osm.gz"
23
24     # Fetch the next set of changes
25     osmosis --read-replication-interval --simc --write-xml-change file="${file}" compressionMethod="gzip"
26
27     # Check for errors
28     if [ $? -eq 0 ]
29     then
30         # Enable exit on error
31         set -e
32
33         # Remember the previous sequence number
34         prevSequenceNumber=$sequenceNumber
35
36         # Read in new state
37         . state.txt
38
39         # Did we get any new data?
40         if [ "${sequenceNumber}" == "${prevSequenceNumber}" ]
41         then
42             # Log the lack of data
43             echo "No new data available. Sleeping..."
44
45             # Remove file, it will just be an empty changeset
46             rm ${file}
47
48             # Sleep for a short while
49             sleep 30
50         else
51             # Log the new data
52             echo "Fetched new data from ${prevSequenceNumber} to ${sequenceNumber} into ${file}"
53
54             # Apply the changes to the database
55 <% if node[:tile][:node_file] -%>
56             osm2pgsql --slim --append --flat-nodes=<%= node[:tile][:node_file] %> ${file}
57 <% else -%>
58             osm2pgsql --slim --append ${file}
59 <% end -%>
60
61             # Expire tiles which are touched by the changes
62             sudo -u www-data /usr/local/bin/expire-tiles ${file} > /dev/null 2>&1 &
63         fi
64
65         # Delete old downloads
66         find . -name 'changes-*.gz' -mmin +300 -exec rm -f {} \;
67
68         # Disable exit on error
69         set +e
70     else
71         # Log our failure to fetch changes
72         echo "Failed to fetch changes - waiting a few minutes before retry"
73
74         # Wait five minutes and have another go
75         sleep 300
76     fi
77 done