]> git.openstreetmap.org Git - chef.git/blob - cookbooks/tile/templates/default/replicate.erb
4e96d767d8dd1696d44c4a78427b3c2c68e9e170
[chef.git] / cookbooks / tile / templates / default / replicate.erb
1 #!/bin/bash
2
3 # DO NOT EDIT - This file is being maintained by Chef
4
5 # Before running updates, the replication needs to be set up with the timestamp
6 # set to the day of the latest planet dump. Setting to midnight ensures we get
7 # conistent data after first run. osmosis --read-replication-interval-init is
8 # used to initially create the state file
9
10 # Define exit handler
11 function onexit {
12     [ -f sequence-prev.txt ] && mv sequence-prev.txt sequence.txt
13 }
14
15 # Send output to the log
16 exec > /var/log/tile/replicate.log 2>&1
17
18 # Change to the replication state directory
19 cd /var/lib/replicate
20 <% if @postgresql_version >= 12 -%>
21
22 # Disable JIT and parallel workers in postgres
23 export PGOPTIONS="-c jit=off -c max_parallel_workers_per_gather=0"
24 <% end -%>
25
26 # Install exit handler
27 trap onexit EXIT
28
29 # Loop indefinitely
30 while true
31 do
32     # Work out the name of the next file
33     file="changes-$(cat sequence.txt).osc.gz"
34
35     # Save sequence file so we can rollback if an error occurs
36     cp sequence.txt sequence-prev.txt
37
38     # Fetch the next set of changes
39     pyosmium-get-changes --server=<%= node[:tile][:replication][:url] %> --sequence-file=sequence.txt --outfile=${file}
40
41     # Save exit status
42     status=$?
43
44     # Check for errors
45     if [ $status -eq 0 ]
46     then
47         # Enable exit on error
48         set -e
49
50         # Log the new data
51         echo "Fetched new data from $(cat sequence-prev.txt) to $(cat sequence.txt) into ${file}"
52
53         # Apply the changes to the database
54         osm2pgsql --database gis --slim --append --number-processes=1 \
55 <% if node[:tile][:database][:node_file] -%>
56                   --flat-nodes=<%= node[:tile][:database][:node_file] %> \
57 <% end -%>
58 <% if node[:tile][:database][:multi_geometry] -%>
59                   --multi-geometry \
60 <% end -%>
61 <% if node[:tile][:database][:hstore] -%>
62                   --hstore \
63 <% end -%>
64 <% if node[:tile][:database][:style_file] -%>
65                   --style=<%= node[:tile][:database][:style_file] %> \
66 <% end -%>
67 <% if node[:tile][:database][:tag_transform_script] -%>
68                   --tag-transform-script=<%= node[:tile][:database][:tag_transform_script] %> \
69 <% end -%>
70                   ${file}
71
72         # No need to rollback now
73         rm sequence-prev.txt
74
75         # Get buffer count
76         buffers=$(osmium fileinfo --extended --get=data.buffers.count ${file})
77
78         # If this diff has content mark it as the latest diff
79         if [ $buffers -gt 0 ]
80         then
81             ln -f ${file} changes-latest.osc.gz
82         fi
83
84         # Queue these changes for expiry processing
85         ln ${file} expire-queue/${file}
86
87         # Delete old downloads
88         find . -name 'changes-*.gz' -mmin +300 -exec rm -f {} \;
89
90         # Disable exit on error
91         set +e
92     elif [ $status -eq 3 ]
93     then
94         # Log the lack of data
95         echo "No new data available. Sleeping..."
96
97         # Remove file, it will just be an empty changeset
98         rm ${file}
99
100         # Sleep for a short while
101         sleep 30
102     else
103         # Log our failure to fetch changes
104         echo "Failed to fetch changes - waiting a few minutes before retry"
105
106         # Remove any output that was produced
107         rm -f ${file}
108
109         # Wait five minutes and have another go
110         sleep 300
111     fi
112 done