cookbooks/tile/templates/default/replicate.erb

   1 #!/bin/bash
   2
   3 # DO NOT EDIT - This file is being maintained by Chef
   4
   5 # Before running updates, the replication needs to be set up with the timestamp
   6 # set to the day of the latest planet dump. Setting to midnight ensures we get
   7 # conistent data after first run. osmosis --read-replication-interval-init is
   8 # used to initially create the state file
   9
  10 # Define exit handler
  11 function onexit {
  12     [ -f sequence-prev.txt ] && mv sequence-prev.txt sequence.txt
  13 }
  14
  15 # Send output to the log
  16 exec > /var/log/tile/replicate.log 2>&1
  17
  18 # Change to the replication state directory
  19 cd /var/lib/replicate
  20 <% if @postgresql_version >= 12 -%>
  21
  22 # Disable JIT and parallel workers in postgres
  23 export PGOPTIONS="-c jit=off -c max_parallel_workers_per_gather=0"
  24 <% end -%>
  25
  26 # Install exit handler
  27 trap onexit EXIT
  28
  29 # Loop indefinitely
  30 while true
  31 do
  32     # Work out the name of the next file
  33     file="changes-$(cat sequence.txt).osc.gz"
  34
  35     # Save sequence file so we can rollback if an error occurs
  36     cp sequence.txt sequence-prev.txt
  37
  38     # Fetch the next set of changes
  39     pyosmium-get-changes --sequence-file=sequence.txt --outfile=${file}
  40
  41     # Save exit status
  42     status=$?
  43
  44     # Check for errors
  45     if [ $status -eq 0 ]
  46     then
  47         # Enable exit on error
  48         set -e
  49
  50         # Log the new data
  51         echo "Fetched new data from $(cat sequence-prev.txt) to $(cat sequence.txt) into ${file}"
  52
  53         # Apply the changes to the database
  54         osm2pgsql --database gis --slim --append --number-processes=1 \
  55 <% if node[:tile][:database][:node_file] -%>
  56                   --flat-nodes=<%= node[:tile][:database][:node_file] %> \
  57 <% end -%>
  58 <% if node[:tile][:database][:multi_geometry] -%>
  59                   --multi-geometry \
  60 <% end -%>
  61 <% if node[:tile][:database][:hstore] -%>
  62                   --hstore \
  63 <% end -%>
  64 <% if node[:tile][:database][:style_file] -%>
  65                   --style=<%= node[:tile][:database][:style_file] %> \
  66 <% end -%>
  67 <% if node[:tile][:database][:tag_transform_script] -%>
  68                   --tag-transform-script=<%= node[:tile][:database][:tag_transform_script] %> \
  69 <% end -%>
  70                   ${file}
  71
  72         # No need to rollback now
  73         rm sequence-prev.txt
  74
  75         # Get buffer count
  76         buffers=$(osmium fileinfo --extended --get=data.buffers.count ${file})
  77
  78         # If this diff has content mark it as the latest diff
  79         if [ $buffers -gt 0 ]
  80         then
  81             ln -f ${file} changes-latest.osc.gz
  82         fi
  83
  84         # Queue these changes for expiry processing
  85         ln ${file} expire-queue/${file}
  86
  87         # Delete old downloads
  88         find . -name 'changes-*.gz' -mmin +300 -exec rm -f {} \;
  89
  90         # Disable exit on error
  91         set +e
  92     elif [ $status -eq 3 ]
  93     then
  94         # Log the lack of data
  95         echo "No new data available. Sleeping..."
  96
  97         # Remove file, it will just be an empty changeset
  98         rm ${file}
  99
 100         # Sleep for a short while
 101         sleep 30
 102     else
 103         # Log our failure to fetch changes
 104         echo "Failed to fetch changes - waiting a few minutes before retry"
 105
 106         # Remove any output that was produced
 107         rm -f ${file}
 108
 109         # Wait five minutes and have another go
 110         sleep 300
 111     fi
 112 done