INSTALL.md

   1 # Installation
   2
   3 These instructions are designed for setting up `openstreetmap-website` development environment. If you want to deploy the software for your own project, then see the [Production Deployment Notes](#production-deployment-notes).
   4
   5 ## Installation Options
   6
   7 There is more than one way to set up a development environment.
   8
   9 ### Containerized Installation
  10
  11 We offer a containerized environment with Docker which may avoid installation difficulties. See [DOCKER.md](DOCKER.md) for complete instructions.
  12
  13 ### Manual Installation
  14
  15 Install dependencies directly on your machine (traditional approach, covered in this guide). This gives you the most control and is often preferred by experienced developers on Linux systems.
  16
  17 > [!WARNING]
  18 > **Windows Note:** We don't recommend using this approach on Windows, as some Ruby gems may not be supported. If you are using Windows, we recommend containerized setup using [Docker](DOCKER.md).
  19
  20 ## Manual Installation Guide
  21
  22 These instructions are based on Ubuntu 24.04 LTS, though the OSMF servers are currently running Debian 12. The instructions also work, with only minor amendments, for all other current Ubuntu releases, Fedora and macOS.
  23
  24 ### Prerequisites
  25
  26 Many of the dependencies are managed through the standard Ruby on Rails mechanisms - i.e. Ruby gems specified in the Gemfile and installed using Bundler. Some system packages are also required before you can get the various gems installed.
  27
  28 **Minimum requirements:**
  29 * Ruby 3.2+
  30 * PostgreSQL 13+
  31 * Bundler (see note below about [developer Ruby setup](#ruby-version-manager-optional))
  32 * JavaScript Runtime
  33
  34 ### Step 1: Install System Dependencies
  35
  36 #### Ubuntu 24.04 LTS
  37
  38 ```bash
  39 sudo apt-get update
  40 sudo apt-get install ruby ruby-dev ruby-bundler \
  41                      libvips-dev libxml2-dev libxslt1-dev \
  42                      nodejs build-essential git-core \
  43                      postgresql postgresql-contrib libpq-dev \
  44                      libsasl2-dev libffi-dev libgd-dev \
  45                      libarchive-dev libyaml-dev libbz2-dev npm
  46 sudo npm install --global yarn
  47 ```
  48
  49 > [!TIP]
  50 > On Ubuntu 24.04, you may need to start PostgreSQL:
  51 >
  52 > ```bash
  53 > sudo systemctl start postgresql.service
  54 > ```
  55
  56 #### Fedora
  57
  58 ```bash
  59 sudo dnf install ruby ruby-devel rubygem-rdoc rubygem-bundler \
  60                  rubygems libxml2-devel nodejs gcc gcc-c++ git \
  61                  postgresql postgresql-server \
  62                  postgresql-contrib libpq-devel \
  63                  perl-podlators libffi-devel gd-devel \
  64                  libarchive-devel libyaml-devel bzip2-devel \
  65                  nodejs-yarn vips-devel
  66 ```
  67
  68 On Fedora, if you didn't already have PostgreSQL installed then create a PostgreSQL instance and start the server:
  69
  70 ```bash
  71 sudo postgresql-setup initdb
  72 sudo systemctl start postgresql.service
  73 ```
  74
  75 Optionally set PostgreSQL to start on boot:
  76
  77 ```bash
  78 sudo systemctl enable postgresql.service
  79 ```
  80
  81 #### macOS
  82
  83 For macOS, you will need [Xcode Command Line Tools](https://mac.install.guide/commandlinetools/); macOS 14 (Sonoma) or later; and some familiarity with Unix development via the Terminal.
  84
  85 **Installing PostgreSQL:**
  86
  87 * Install Postgres.app from https://postgresapp.com/
  88 * Make sure that you've initialized and started Postgresql from the app (there should be a little elephant icon in your systray).
  89 * Add PostgreSQL to your path, by editing your profile:
  90
  91 ```bash
  92 nano ~/.profile
  93 ```
  94
  95 and adding:
  96
  97 ```bash
  98 export PATH=/Applications/Postgres.app/Contents/Versions/latest/bin:$PATH
  99 ```
 100
 101 After this, you may need to start a new shell window, or source the profile again by running `. ~/.profile`.
 102
 103 **Installing other dependencies:**
 104
 105 * Install Homebrew from https://brew.sh/
 106 * Install system dependencies, including Ruby:
 107 ```bash
 108 brew install ruby libxml2 gd yarn pngcrush optipng \
 109              pngquant jhead jpegoptim gifsicle svgo \
 110              advancecomp vips
 111 ```
 112 * Install Bundler: `gem install bundler` (you might need to `sudo gem install bundler` if you get an error about permissions - or see note below about [developer Ruby setup](#ruby-version-manager-optional))
 113
 114 You will need to tell `bundler` that `libxml2` is installed in a Homebrew location. If it uses the system-installed one then you will get errors installing the `libxml-ruby` gem later on.
 115
 116 ```bash
 117 bundle config build.libxml-ruby --with-xml2-config=/usr/local/opt/libxml2/bin/xml2-config
 118 ```
 119
 120 If you want to run the tests, you need `geckodriver` as well:
 121
 122 ```bash
 123 brew install geckodriver
 124 ```
 125
 126 > [!NOTE]
 127 > OS X does not have a /home directory by default, so if you are using the GPX functions, you will need to change the directories specified in config/application.yml.
 128
 129 ### Step 2: Clone the Repository
 130
 131 The repository is reasonably large (~560MB) and it's unlikely that you'll need the full history. Therefore you can probably do with a shallow clone (~100MB):
 132 ```bash
 133 git clone --depth=1 https://github.com/openstreetmap/openstreetmap-website.git
 134 ```
 135
 136 If you want to add in the full history later on, perhaps to run `git blame` or `git log`, run `git fetch --unshallow`.
 137
 138 > [!TIP]
 139 > To download the full history from the start, run:
 140 > ```bash
 141 > git clone https://github.com/openstreetmap/openstreetmap-website.git
 142 > ```
 143
 144 ### Step 3: Install Application Dependencies
 145
 146 #### Ruby gems
 147
 148 We use [Bundler](https://bundler.io/) to manage the rubygems required for the project.
 149
 150 ```bash
 151 cd openstreetmap-website
 152 bundle install
 153 ```
 154
 155 #### Node.js modules
 156
 157 We use [Yarn](https://yarnpkg.com/) to manage the Node.js modules required for the project.
 158
 159 ```bash
 160 bundle exec bin/yarn install
 161 ```
 162
 163 ### Step 4: Prepare Configuration Files
 164
 165 #### Local settings file
 166
 167 > [!NOTE]
 168 > This is a workaround. [See issues/2185 for details](https://github.com/openstreetmap/openstreetmap-website/issues/2185#issuecomment-508676026).
 169
 170 ```bash
 171 touch config/settings.local.yml
 172 ```
 173
 174 #### Storage setup
 175
 176 `openstreetmap-website` needs to be configured with an object storage facility - for development and testing purposes you can use the example configuration:
 177
 178 ```bash
 179 cp config/example.storage.yml config/storage.yml
 180 ```
 181
 182 ### Step 5: Database Setup
 183
 184 `openstreetmap-website` uses three databases - one for development, one for testing, and one for production. The database-specific configuration options are stored in `config/database.yml`, which we need to create from the example template.
 185
 186 ```bash
 187 cp config/example.database.yml config/database.yml
 188 ```
 189
 190 > [!IMPORTANT]
 191 > PostgreSQL is configured to, by default, accept local connections without requiring a username or password. This is fine for development. If you wish to set up your database differently, then you should change the values found in the `config/database.yml` file, and amend the instructions below as appropriate.
 192
 193 #### PostgreSQL account setup
 194
 195 We need to create a PostgreSQL role (i.e. user account) for your current user, and it needs to be a superuser so that we can create more databases.
 196
 197 ```bash
 198 sudo -u postgres -i
 199 createuser -s <username>
 200 exit
 201 ```
 202
 203 #### Create the databases
 204
 205 To create the three databases - for development, testing and production - run:
 206
 207 ```bash
 208 bundle exec rails db:create
 209 ```
 210
 211 #### Database structure
 212
 213 To create all the tables, indexes and constraints, run:
 214
 215 ```bash
 216 bundle exec rails db:migrate
 217 ```
 218
 219 ## Validate Your Installation
 220
 221 ### Running the tests
 222
 223 To ensure that everything is set up properly, you should now run:
 224
 225 ```bash
 226 bundle exec rails test:all
 227 ```
 228
 229 This test will take a few minutes, reporting tests run, assertions, and any errors. If you receive no errors, then your installation is successful.
 230
 231 > [!NOTE]
 232 > The unit tests may output parser errors related to "Attribute lat redefined." These can be ignored.
 233
 234 ### Starting the server
 235
 236 Rails comes with a built-in webserver, so that you can test on your own machine without needing a server. Run
 237
 238 ```bash
 239 bundle exec rails server
 240 ```
 241
 242 You can now view the site in your favourite web-browser at [http://localhost:3000/](http://localhost:3000/)
 243
 244 > [!NOTE]
 245 > The OSM map tiles you see aren't created from your local database - they are the production map tiles, served from a separate service over the Internet.
 246
 247 ## What's Next?
 248
 249 🎉 **Congratulations!** You have successfully installed the OpenStreetMap website.
 250
 251 **Next steps:**
 252 * **Configuration:** See [CONFIGURE.md](CONFIGURE.md) for populating the database with data, creating users, setting up OAuth, and other configuration tasks.
 253 * **Contributing:** Check out [CONTRIBUTING.md](CONTRIBUTING.md) for coding style guidelines, testing procedures, and how to submit your contributions.
 254
 255 ## Ruby Version Manager (Optional)
 256
 257 For simplicity, this document explains how to install all the website dependencies as "system" dependencies. While this can be simpler and faster, you might want more control over the process or the ability to install multiple different versions of Ruby alongside each other.
 258
 259 Several tools exist that allow managing multiple different Ruby versions on the same computer. They also provide the additional advantage that the installs are all in your home directory, so you don't need administrator permissions. These tools are typically known as "version managers".
 260
 261 This section shows how to install Ruby and Bundler with [`rbenv`](https://github.com/rbenv/rbenv), which is one of these tools. If you choose to install Ruby and Bundler via `rbenv`, then you do not need to install the system libraries for Ruby:
 262
 263 * For Ubuntu, you do not need to install the following packages: `ruby ruby-dev ruby-bundler`,
 264 * For Fedora, you do not need to install the following packages: `ruby ruby-devel rubygem-rdoc rubygem-bundler rubygems`
 265 * For macOS, you do not need to `brew install ruby`
 266
 267 > [!IMPORTANT]
 268 > On macOS, make sure you've installed a version of Ruby using `rbenv` before running `gem install bundler`!
 269
 270 After installing a version of Ruby with `rbenv` (the latest stable version is a good place to start), you will need to make that the default. From inside the `openstreetmap-website` directory, run:
 271
 272 ```bash
 273 rbenv local $VERSION
 274 ```
 275
 276 Where `$VERSION` is the version you installed. Then install bundler:
 277
 278 ```bash
 279 gem install bundler
 280 ```
 281
 282 You should now be able to proceed with the rest of the installation. If you're on macOS, make sure you set up the [config override for the libxml2 location](#macos-click-to-expand) _after_ installing bundler.
 283
 284 ## Production Deployment Notes
 285
 286 > [!WARNING]
 287 > Production deployment requires careful configuration and is significantly different from development setup.
 288
 289 If you want to deploy `openstreetmap-website` for production use, you'll need to make a few changes:
 290
 291 > [!IMPORTANT]
 292 > It's not recommended to use `rails server` in production. Our recommended approach is to use [Phusion Passenger](https://www.phusionpassenger.com/). Instructions are available for [setting it up with most web servers](https://www.phusionpassenger.com/documentation_and_support#documentation).
 293
 294 * Passenger will, by design, use the Production environment and therefore the production database - make sure it contains the appropriate data and user accounts.
 295
 296 > [!TIP]
 297 > The included version of the map call is quite slow and eats a lot of memory. You should consider using [CGIMap](https://github.com/zerebubuth/openstreetmap-cgimap) instead.
 298
 299 * Make sure you generate the i18n files and precompile the production assets: `RAILS_ENV=production bundle exec i18n export; bundle exec rails assets:precompile`
 300 * Make sure the web server user as well as the rails user can read, write and create directories in `tmp/`.