]> git.openstreetmap.org Git - rails.git/blob - INSTALL.md
Switch to using vips for image processing
[rails.git] / INSTALL.md
1 # Installation
2
3 These instructions are designed for setting up The Rails Port for development and testing.
4 If you want to deploy the software for your own project, then see the notes at the end.
5
6 You can install the software directly on your machine, which is the traditional and probably best-supported approach. However, there
7 are two alternatives which make it easier to get a consistent development environment and may avoid installation difficulties:
8
9 * **Vagrant** This installs the software into a virtual machine. For Vagrant instructions see [VAGRANT.md](VAGRANT.md).
10 * **Docker** This installs the software using containerization. For Docker instructions see [DOCKER.md](DOCKER.md).
11
12 These instructions are based on Ubuntu 20.04 LTS, which is the platform used by the OSMF servers.
13 The instructions also work, with only minor amendments, for all other current Ubuntu releases, Fedora and MacOSX
14
15 We don't recommend attempting to develop or deploy this software on Windows. If you need to use Windows, then try developing this software using Ubuntu in a virtual machine, or use [Vagrant](VAGRANT.md).
16
17 ## Dependencies
18
19 Many of the dependencies are managed through the standard Ruby on Rails mechanisms -
20 i.e. ruby gems specified in the Gemfile and installed using bundler. However, there are a large number
21 of packages required before you can get the various gems installed.
22
23 ## Minimum requirements
24
25 * Ruby 2.7+
26 * PostgreSQL 9.1+
27 * ImageMagick
28 * Bundler (see note below about [developer Ruby setup](#rbenv))
29 * Javascript Runtime
30
31 These can be installed on Ubuntu 20.04 or later with:
32
33 ```
34 sudo apt-get update
35 sudo apt-get install ruby2.7 libruby2.7 ruby2.7-dev \
36                      libvips-dev libmagickwand-dev libxml2-dev libxslt1-dev nodejs \
37                      apache2 apache2-dev build-essential git-core firefox-geckodriver \
38                      postgresql postgresql-contrib libpq-dev libsasl2-dev \
39                      imagemagick libffi-dev libgd-dev libarchive-dev libbz2-dev yarnpkg
40 sudo gem2.7 install bundler
41 ```
42
43 ### Alternative platforms
44
45 #### Fedora
46
47 For Fedora, you can install the minimum requirements with:
48
49 ```
50 sudo dnf install ruby ruby-devel rubygem-rdoc rubygem-bundler rubygems \
51                  libxml2-devel nodejs \
52                  gcc gcc-c++ git \
53                  postgresql postgresql-server postgresql-contrib libpq-devel \
54                  perl-podlators ImageMagick libffi-devel gd-devel libarchive-devel \
55                  bzip2-devel nodejs-yarn vips-devel
56 ```
57
58 If you didn't already have PostgreSQL installed then create a PostgreSQL instance and start the server:
59
60 ```
61 sudo postgresql-setup initdb
62 sudo systemctl start postgresql.service
63 ```
64
65 Optionally set PostgreSQL to start on boot:
66
67 ```
68 sudo systemctl enable postgresql.service
69 ```
70
71 #### MacOSX
72
73 For MacOSX, you will need XCode installed from the Mac App Store; OS X 10.7 (Lion) or later; and some familiarity with Unix development via the Terminal.
74
75 Installing PostgreSQL:
76
77 * Install Postgres.app from https://postgresapp.com/
78 * Make sure that you've initialized and started Postgresql from the app (there should be a little elephant icon in your systray).
79 * Add PostgreSQL to your path, by editing your profile:
80
81 `nano ~/.profile`
82
83 and adding:
84
85 `export PATH=/Applications/Postgres.app/Contents/MacOS/bin:$PATH`
86
87 After this, you may need to start a new shell window, or source the profile again by running `. ~/.profile`.
88
89 Installing other dependencies:
90
91 * Install Homebrew from https://brew.sh/
92 * Install the latest version of Ruby: `brew install ruby`
93 * Install other dependencies: `brew install imagemagick libxml2 gd yarn pngcrush optipng pngquant jhead jpegoptim gifsicle svgo advancecomp`
94 * Install Bundler: `gem install bundler` (you might need to `sudo gem install bundler` if you get an error about permissions - or see note below about [developer Ruby setup](#rbenv))
95
96 You will need to tell `bundler` that `libxml2` is installed in a Homebrew location. If it uses the system-installed one then you will get errors installing the `libxml-ruby` gem later on<a name="macosx-bundle-config"></a>.
97
98 ```
99 bundle config build.libxml-ruby --with-xml2-config=/usr/local/opt/libxml2/bin/xml2-config
100 ```
101
102 If you want to run the tests, you need `geckodriver` as well:
103
104 ```
105 brew install geckodriver
106 ```
107
108 Note that OS X does not have a /home directory by default, so if you are using the GPX functions, you will need to change the directories specified in config/application.yml.
109
110 ## Cloning the repository
111
112 The repository is reasonably large (~150MB) and it's unlikely that you need the full history. If you are happy to wait for it all to download, run:
113
114 ```
115 git clone https://github.com/openstreetmap/openstreetmap-website.git
116 ```
117
118 To clone only the most recent version (~23MB), instead use a 'shallow clone':
119
120 ```
121 git clone --depth=1 https://github.com/openstreetmap/openstreetmap-website.git
122 ```
123
124 If you want to add in the full history later on, perhaps to run `git blame` or `git log`, run `git fetch --depth=1000000`
125
126
127 ## Ruby gems
128
129 We use [Bundler](http://gembundler.com/) to manage the rubygems required for the project.
130
131 ```
132 cd openstreetmap-website
133 bundle install
134 ```
135
136 ## Node.js modules
137
138 We use [Yarn](https://yarnpkg.com/) to manage the Node.js modules required for the project.
139
140 ```
141 bundle exec rake yarn:install
142 ```
143
144 ## Prepare local settings file
145
146 This is a workaround. [See issues/2185 for details](https://github.com/openstreetmap/openstreetmap-website/issues/2185#issuecomment-508676026).
147
148 ```
149 touch config/settings.local.yml
150 ```
151
152 ## Storage setup
153
154 The Rails port needs to be configured with an object storage facility - for
155 development and testing purposes you can use the example configuration:
156
157 ```
158 cp config/example.storage.yml config/storage.yml
159 ```
160
161 ## Database setup
162
163 The Rails Port uses three databases -  one for development, one for testing, and one for production. The database-specific configuration
164 options are stored in `config/database.yml`, which we need to create from the example template.
165
166 ```
167 cp config/example.database.yml config/database.yml
168 ```
169
170 PostgreSQL is configured to, by default, accept local connections without requiring a username or password. This is fine for development.
171 If you wish to set up your database differently, then you should change the values found in the `config/database.yml` file, and amend the
172 instructions below as appropriate.
173
174 ### PostgreSQL account setup
175
176 We need to create a PostgreSQL role (i.e. user account) for your current user, and it needs to be a superuser so that we can create more databases.
177
178 ```
179 sudo -u postgres -i
180 createuser -s <username>
181 exit
182 ```
183
184 ### Create the databases
185
186 To create the three databases - for development, testing and production - run:
187
188 ```
189 bundle exec rake db:create
190 ```
191
192 ### PostgreSQL Btree-gist Extension
193
194 We need to load the `btree-gist` extension, which is needed for showing changesets on the history tab.
195
196 ```
197 psql -d openstreetmap -c "CREATE EXTENSION btree_gist"
198 ```
199
200 ### PostgreSQL Functions
201
202 We need to install some special functions into the PostgreSQL database:
203
204 ```
205 psql -d openstreetmap -f db/functions/functions.sql
206 ```
207
208 ### Database structure
209
210 To create all the tables, indexes and constraints, run:
211
212 ```
213 bundle exec rake db:migrate
214 ```
215
216 ## Running the tests
217
218 To ensure that everything is set up properly, you should now run:
219
220 ```
221 bundle exec rails test:all
222 ```
223
224 This test will take a few minutes, reporting tests run, assertions, and any errors. If you receive no errors, then your installation is successful.
225
226 The unit tests may output parser errors related to "Attribute lat redefined." These can be ignored.
227
228 ### Starting the server
229
230 Rails comes with a built-in webserver, so that you can test on your own machine without needing a server. Run
231
232 ```
233 bundle exec rails server
234 ```
235
236 You can now view the site in your favourite web-browser at [http://localhost:3000/](http://localhost:3000/)
237
238 Note that the OSM map tiles you see aren't created from your local database - they are just the standard map tiles.
239
240 # Configuration
241
242 After installing this software, you may need to carry out some [configuration steps](CONFIGURE.md), depending on your tasks.
243
244 # Installing compiled shared library database functions (optional)
245
246 There are special database functions required by a (little-used) API call, the migrations and diff replication. The former two are provided as *either* pure SQL functions or a compiled shared library. The SQL versions are installed as part of the recommended install procedure above and the shared library versions are recommended only if you are running a production server and need the diff replication functionality.
247
248 If you aren't sure which you need, stick with the SQL versions.
249
250 Before installing the functions, it's necessary to install the PostgreSQL server development packages. On Ubuntu this means:
251
252 ```
253 sudo apt-get install postgresql-server-dev-all
254 ```
255
256 On Fedora:
257
258 ```
259 sudo dnf install postgresql-devel
260 ```
261
262 The library then needs compiling.
263
264 ```
265 cd db/functions
266 make libpgosm.so
267 cd ../..
268 ```
269
270 If you previously installed the SQL versions of these functions, we'll need to delete those before adding the new ones:
271
272 ```
273 psql -d openstreetmap -c "DROP FUNCTION IF EXISTS tile_for_point"
274 ```
275
276 Then we create the functions within each database. We're using `pwd` to substitute in the current working directory, since PostgreSQL needs the full path.
277
278 ```
279 psql -d openstreetmap -c "CREATE FUNCTION tile_for_point(int4, int4) RETURNS int8 AS '`pwd`/db/functions/libpgosm', 'tile_for_point' LANGUAGE C STRICT"
280 ```
281
282 # Ruby development install and versions<a name="rbenv"></a> (optional)
283
284 For simplicity, this document explains how to install all the website dependencies as "system" dependencies. While this is simpler, and usually faster, you might want more control over the process or the ability to install multiple different versions of software alongside eachother. For many developers, [`rbenv`](https://github.com/rbenv/rbenv) is the easiest way to manage multiple different Ruby versions on the same computer - with the added advantage that the installs are all in your home directory, so you don't need administrator permissions.
285
286 If you choose to install Ruby and Bundler via `rbenv`, then you do not need to install the system libraries for Ruby:
287
288 * For Ubuntu, you do not need to install the following packages: `ruby2.7 libruby2.7 ruby2.7-dev bundler`,
289 * For Fedora, you do not need to install the following packages: `ruby ruby-devel rubygem-rdoc rubygem-bundler rubygems`
290 * For MacOSX, you do not need to `brew install ruby` - but make sure you've installed a version of Ruby using `rbenv` before running `gem install bundler`!
291
292 After installing a version of Ruby with `rbenv` (the latest stable version is a good place to start), you will need to make that the default. From inside the `openstreetmap-website` directory, run:
293
294 ```
295 rbenv local $VERSION
296 ```
297
298 Where `$VERSION` is the version you installed. Then install bundler:
299
300 ```
301 gem install bundler
302 ```
303
304 You should now be able to proceed with the rest of the installation. If you're on MacOSX, make sure you set up the [config override for the libxml2 location](#macosx-bundle-config) _after_ installing bundler.