Teach travis to validate the database schema
[rails.git] / INSTALL.md
1 # Installation
2
3 These instructions are designed for setting up The Rails Port for development and testing.
4 If you want to deploy the software for your own project, then see the notes at the end.
5
6 You can install the software directly on your machine, which is the traditional and probably best-supported approach. However, there is an alternative which may be easier: Vagrant. This installs the software into a virtual machine, which makes it easier to get a consistent development environment and may avoid installation difficulties. For Vagrant instructions, see [VAGRANT.md](VAGRANT.md).
7
8 These instructions are based on Ubuntu 18.04 LTS, which is the platform used by the OSMF servers.
9 The instructions also work, with only minor amendments, for all other current Ubuntu releases, Fedora and MacOSX
10
11 We don't recommend attempting to develop or deploy this software on Windows. If you need to use Windows, then try developing this software using Ubuntu in a virtual machine, or use [Vagrant](VAGRANT.md).
12
13 ## Dependencies
14
15 Many of the dependencies are managed through the standard Ruby on Rails mechanisms -
16 i.e. ruby gems specified in the Gemfile and installed using bundler. However, there are a large number
17 of packages required before you can get the various gems installed.
18
19 ## Minimum requirements
20
21 * Ruby 2.5+
22 * PostgreSQL 9.1+
23 * ImageMagick
24 * Bundler
25 * Javascript Runtime
26
27 These can be installed on Ubuntu 16.04 or later with:
28
29 ```
30 sudo apt-get install ruby2.5 libruby2.5 ruby2.5-dev \
31                      libmagickwand-dev libxml2-dev libxslt1-dev nodejs \
32                      apache2 apache2-dev build-essential git-core \
33                      postgresql postgresql-contrib libpq-dev postgresql-server-dev-all \
34                      libsasl2-dev imagemagick libffi-dev
35 sudo gem2.5 install bundler
36 ```
37
38 ### Alternative platforms
39
40 #### Fedora
41
42 For Fedora, you can install the minimum requirements with:
43
44 ```
45 sudo yum install ruby ruby-devel rubygem-rdoc rubygem-bundler rubygems \
46                  libxml2-devel js \
47                  gcc gcc-c++ git \
48                  postgresql postgresql-server postgresql-contrib postgresql-devel \
49                  perl-podlators ImageMagick libffi-devel
50 ```
51
52 If you didn't already have PostgreSQL installed then create a PostgreSQL instance and start the server:
53
54 ```
55 sudo postgresql-setup initdb
56 sudo systemctl start postgresql.service
57 ```
58
59 Optionally set PostgreSQL to start on boot:
60
61 ```
62 sudo systemctl enable postgresql.service
63 ```
64
65 #### MacOSX
66
67 For MacOSX, you will need XCode installed from the Mac App Store; OS X 10.7 (Lion) or later; and some familiarity with Unix development via the Terminal.
68
69 Installing PostgreSQL:
70
71 * Install Postgres.app from https://postgresapp.com/
72 * Add PostgreSQL to your path, by editing your profile:
73
74 `nano ~/.profile`
75
76 and adding:
77
78 `export PATH=/Applications/Postgres.app/Contents/MacOS/bin:$PATH`
79
80 Installing other dependencies:
81
82 * Install Homebrew from https://brew.sh/
83 * Install the latest version of Ruby: `brew install ruby`
84 * Install ImageMagick: `brew install imagemagick`
85 * Install libxml2: `brew install libxml2 --with-xml2-config`
86 * If you want to run the tests, you need `phantomjs` as well: `brew install phantomjs`
87 * Install Bundler: `gem install bundler`
88
89 Note that OS X does not have a /home directory by default, so if you are using the GPX functions, you will need to change the directories specified in config/application.yml.
90
91 ## Cloning the repository
92
93 The repository is reasonably large (~150MB) and it's unlikely that you need the full history. If you are happy to wait for it all to download, run:
94
95 ```
96 git clone https://github.com/openstreetmap/openstreetmap-website.git
97 ```
98
99 To clone only the most recent version (~23MB), instead use a 'shallow clone':
100
101 ```
102 git clone --depth=1 https://github.com/openstreetmap/openstreetmap-website.git
103 ```
104
105 If you want to add in the full history later on, perhaps to run `git blame` or `git log`, run `git fetch --depth=1000000`
106
107
108 ## Ruby gems
109
110 We use [Bundler](http://gembundler.com/) to manage the rubygems required for the project.
111
112 ```
113 cd openstreetmap-website
114 bundle install
115 ```
116
117 ## Database setup
118
119 The Rails Port uses three databases -  one for development, one for testing, and one for production. The database-specific configuration
120 options are stored in `config/database.yml`, which we need to create from the example template.
121
122 ```
123 cp config/example.database.yml config/database.yml
124 ```
125
126 PostgreSQL is configured to, by default, accept local connections without requiring a username or password. This is fine for development.
127 If you wish to set up your database differently, then you should change the values found in the `config/database.yml` file, and amend the
128 instructions below as appropriate.
129
130 ### PostgreSQL account setup
131
132 We need to create a PostgreSQL role (i.e. user account) for your current user, and it needs to be a superuser so that we can create more databases.
133
134 ```
135 sudo -u postgres -i
136 createuser -s <username>
137 exit
138 ```
139
140 ### Create the databases
141
142 To create the three databases - for development, testing and production - run:
143
144 ```
145 bundle exec rake db:create
146 ```
147
148 ### PostgreSQL Btree-gist Extension
149
150 We need to load the `btree-gist` extension, which is needed for showing changesets on the history tab.
151
152 ```
153 psql -d openstreetmap -c "CREATE EXTENSION btree_gist"
154 ```
155
156 ### PostgreSQL Functions
157
158 We need to install special functions into the PostgreSQL databases, and these are provided by a library that needs compiling first.
159
160 ```
161 cd db/functions
162 make libpgosm.so
163 cd ../..
164 ```
165
166 Then we create the functions within each database. We're using `pwd` to substitute in the current working directory, since PostgreSQL needs the full path.
167
168 ```
169 psql -d openstreetmap -c "CREATE FUNCTION maptile_for_point(int8, int8, int4) RETURNS int4 AS '`pwd`/db/functions/libpgosm', 'maptile_for_point' LANGUAGE C STRICT"
170 psql -d openstreetmap -c "CREATE FUNCTION tile_for_point(int4, int4) RETURNS int8 AS '`pwd`/db/functions/libpgosm', 'tile_for_point' LANGUAGE C STRICT"
171 psql -d openstreetmap -c "CREATE FUNCTION xid_to_int4(xid) RETURNS int4 AS '`pwd`/db/functions/libpgosm', 'xid_to_int4' LANGUAGE C STRICT"
172 ```
173
174 ### Database structure
175
176 To create all the tables, indexes and constraints, run:
177
178 ```
179 bundle exec rake db:migrate
180 ```
181
182 ## Running the tests
183
184 To ensure that everything is set up properly, you should now run:
185
186 ```
187 bundle exec rake test:db
188 ```
189
190 This test will take a few minutes, reporting tests run, assertions, and any errors. If you receive no errors, then your installation is successful.
191
192 The unit tests may output parser errors related to "Attribute lat redefined." These can be ignored.
193
194 ### Starting the server
195
196 Rails comes with a built-in webserver, so that you can test on your own machine without needing a server. Run
197
198 ```
199 bundle exec rails server
200 ```
201
202 You can now view the site in your favourite web-browser at `http://localhost:3000/`
203
204 Note that the OSM map tiles you see aren't created from your local database - they are just the standard map tiles.
205
206 # Configuration
207
208 After installing this software, you may need to carry out some [configuration steps](CONFIGURE.md), depending on your tasks.