aa69177ecaa2679e8994a25f47242be42f3c2892
[chef.git] / cookbooks / tile / templates / default / replicate.erb
1 #!/bin/bash
2
3 # DO NOT EDIT - This file is being maintained by Chef
4
5 # Before running updates, the replication needs to be set up with the timestamp
6 # set to the day of the latest planet dump. Setting to midnight ensures we get
7 # conistent data after first run. osmosis --read-replication-interval-init is
8 # used to initially create the state file
9
10 # Define exit handler
11 function onexit {
12     [ -f state-prev.txt ] && mv state-prev.txt state.txt
13 }
14
15 # Send output to the log
16 exec > /var/log/tile/replicate.log 2>&1
17
18 # Change to the replication state directory
19 cd /var/lib/replicate
20
21 # Install exit handler
22 trap onexit EXIT
23
24 # Read in initial state
25 . state.txt
26
27 # Loop indefinitely
28 while true
29 do
30     # Work out the name of the next file
31     file="changes-${sequenceNumber}.osc.gz"
32
33     # Save state file so we can rollback if an error occurs
34     cp state.txt state-prev.txt
35
36     # Fetch the next set of changes
37     osmosis --read-replication-interval --simc --write-xml-change file="${file}" compressionMethod="gzip"
38
39     # Check for errors
40     if [ $? -eq 0 ]
41     then
42         # Enable exit on error
43         set -e
44
45         # Remember the previous sequence number
46         prevSequenceNumber=$sequenceNumber
47
48         # Read in new state
49         . state.txt
50
51         # Did we get any new data?
52         if [ "${sequenceNumber}" == "${prevSequenceNumber}" ]
53         then
54             # Log the lack of data
55             echo "No new data available. Sleeping..."
56
57             # Remove file, it will just be an empty changeset
58             rm ${file}
59
60             # No need to rollback now
61             rm state-prev.txt
62
63             # Sleep for a short while
64             sleep 30
65         else
66             # Log the new data
67             echo "Fetched new data from ${prevSequenceNumber} to ${sequenceNumber} into ${file}"
68
69             # Apply the changes to the database
70             osm2pgsql --database gis --slim --append --number-processes=1 \
71 <% if node[:tile][:node_file] -%>
72                       --flat-nodes=<%= node[:tile][:node_file] %> \
73 <% end -%>
74 <% if node[:tile][:styles][:default][:revision] >= "v4.0.0" -%>
75                       --multi-geometry --hstore \
76                       --style=/srv/tile.openstreetmap.org/styles/default/openstreetmap-carto.style \
77                       --tag-transform-script=/srv/tile.openstreetmap.org/styles/default/openstreetmap-carto.lua \
78 <% end -%>
79                       ${file}
80
81             # No need to rollback now
82             rm state-prev.txt
83
84             # Queue these changes for expiry processing
85             ln ${file} expire-queue/$file
86         fi
87
88         # Delete old downloads
89         find . -name 'changes-*.gz' -mmin +300 -exec rm -f {} \;
90
91         # Disable exit on error
92         set +e
93     else
94         # Log our failure to fetch changes
95         echo "Failed to fetch changes - waiting a few minutes before retry"
96
97         # Wait five minutes and have another go
98         sleep 300
99     fi
100 done