Disable default mod_tile configuration
[chef.git] / cookbooks / tile / templates / default / replicate.erb
1 #!/bin/bash
2
3 # DO NOT EDIT - This file is being maintained by Chef
4
5 # Before running updates, the replication needs to be set up with the timestamp
6 # set to the day of the latest planet dump. Setting to midnight ensures we get
7 # conistent data after first run. osmosis --read-replication-interval-init is
8 # used to initially create the state file
9
10 # Define exit handler
11 function onexit {
12     [ -f sequence-prev.txt ] && mv sequence-prev.txt sequence.txt
13 }
14
15 # Send output to the log
16 exec > /var/log/tile/replicate.log 2>&1
17
18 # Change to the replication state directory
19 cd /var/lib/replicate
20
21 # Install exit handler
22 trap onexit EXIT
23
24 # Loop indefinitely
25 while true
26 do
27     # Work out the name of the next file
28     file="changes-$(cat sequence.txt).osc.gz"
29
30     # Save sequence file so we can rollback if an error occurs
31     cp sequence.txt sequence-prev.txt
32
33     # Fetch the next set of changes
34     pyosmium-get-changes --server=<%= node[:tile][:replication][:url] %> --sequence-file=sequence.txt --outfile=${file}
35
36     # Save exit status
37     status=$?
38
39     # Check for errors
40     if [ $status -eq 0 ]
41     then
42         # Enable exit on error
43         set -e
44
45         # Log the new data
46         echo "Fetched new data from $(cat sequence-prev.txt) to $(cat sequence.txt) into ${file}"
47
48         # Apply the changes to the database
49         osm2pgsql --database gis --slim --append --number-processes=1 \
50 <% if node[:tile][:database][:node_file] -%>
51                   --flat-nodes=<%= node[:tile][:database][:node_file] %> \
52 <% end -%>
53 <% if node[:tile][:database][:multi_geometry] -%>
54                   --multi-geometry \
55 <% end -%>
56 <% if node[:tile][:database][:hstore] -%>
57                   --hstore \
58 <% end -%>
59 <% if node[:tile][:database][:style_file] -%>
60                   --style=<%= node[:tile][:database][:style_file] %> \
61 <% end -%>
62 <% if node[:tile][:database][:tag_transform_script] -%>
63                   --tag-transform-script=<%= node[:tile][:database][:tag_transform_script] %> \
64 <% end -%>
65                   ${file}
66
67         # No need to rollback now
68         rm sequence-prev.txt
69
70         # Get buffer count
71         buffers=$(osmium fileinfo --extended --get=data.buffers.count ${file})
72
73         # If this diff has content mark it as the latest diff
74         if [ $buffers -gt 0 ]
75         then
76             ln -f ${file} changes-latest.osc.gz
77         fi
78
79         # Queue these changes for expiry processing
80         ln ${file} expire-queue/${file}
81
82         # Delete old downloads
83         find . -name 'changes-*.gz' -mmin +300 -exec rm -f {} \;
84
85         # Disable exit on error
86         set +e
87     elif [ $status -eq 3 ]
88     then
89         # Log the lack of data
90         echo "No new data available. Sleeping..."
91
92         # Remove file, it will just be an empty changeset
93         rm ${file}
94
95         # Sleep for a short while
96         sleep 30
97     else
98         # Log our failure to fetch changes
99         echo "Failed to fetch changes - waiting a few minutes before retry"
100
101         # Remove any output that was produced
102         rm -f ${file}
103
104         # Wait five minutes and have another go
105         sleep 300
106     fi
107 done