rename new planet code to planet06 to avoid confusion about versions
[planetdump.git] / planet06.c
1 #ifndef _GNU_SOURCE
2 #define _GNU_SOURCE
3 #endif
4
5 #undef USE_ICONV
6
7 #include <stdio.h>
8 #include <stdlib.h>
9 #include <string.h>
10 #include <stdarg.h>
11 #include <sys/types.h>
12 #include <sys/stat.h>
13 #include <sys/socket.h>
14 #include <sys/un.h>
15 #include <unistd.h>
16 #include <fcntl.h>
17 #include <errno.h>
18 #include <limits.h>
19 #include <time.h>
20 #include <utime.h>
21
22
23 #include <mysql.h>
24 #include <mysqld_error.h>
25 #include <signal.h>
26 #include <stdarg.h>
27 #include <sslopt-vars.h>
28 #include <assert.h>
29
30 #include "keyvals.h"
31
32 #define INDENT "  "
33
34
35 #ifdef USE_ICONV
36 #include <iconv.h>
37 #define ICONV_ERROR ((iconv_t)-1)
38 static iconv_t cd = ICONV_ERROR;
39 #endif
40
41
42 static char **user_list;
43 static unsigned long max_uid;
44
45 void connection_close(MYSQL *c)
46 {
47     mysql_close(c);
48     free(c);
49 }
50
51 MYSQL *connection_open(void)
52 {
53     const char *set_timeout1 = "SET SESSION net_write_timeout=60*60*12";
54     const char *set_timeout2 = "SET SESSION interactive_timeout=60*60*12";
55     const char *set_timeout3 = "SET SESSION wait_timeout=60*60*12";
56     MYSQL *c = malloc(sizeof(MYSQL));
57
58     assert(c);
59     mysql_init(c);
60
61 #if 0
62     if (mysql_options(c, MYSQL_SET_CHARSET_NAME , "utf8")) {
63         fprintf(stderr, "set options failed\n");
64         exit(1);
65     }
66 #endif
67
68     if (!(mysql_real_connect(c,"","openstreetmap","openstreetmap","openstreetmap",MYSQL_PORT,NULL,0)))
69     {
70         fprintf(stderr,"FAILED database connection: %s\n",mysql_error(c));
71         exit(1);
72     }
73
74     if (mysql_query(c, set_timeout1)) {
75         fprintf(stderr,"FAILED %s: %s\n", set_timeout1, mysql_error(c));
76         exit(1);
77     }
78     if (mysql_query(c, set_timeout2)) {
79         fprintf(stderr,"FAILED %s: %s\n", set_timeout2, mysql_error(c));
80         exit(1);
81     }
82     if (mysql_query(c, set_timeout3)) {
83         fprintf(stderr,"FAILED %s: %s\n", set_timeout3, mysql_error(c));
84         exit(1);
85     }
86
87     return c;
88 }
89
90
91
92 /* const char *xmlescape(char *in)
93  *
94  * Character escaping for valid XML output as per http://www.w3.org/TR/REC-xml/
95  *
96  * WARNING: this function uses a static buffer so do not rely on the result
97  * being constant if called more than once
98  */
99 static const char *xmlescape(char *in)
100
101     static char escape_tmp[1024];
102     int len;
103     // Convert from DB charset to UTF8
104     // Note: this assumes that inbuf is C-string compatible, i.e. has no embedded NUL like UTF16!
105     // To fix this we'd need to fix the DB output parameters too
106 #ifdef USE_ICONV 
107     if (cd != ICONV_ERROR) {
108         char iconv_tmp[1024];
109         char *inbuf = in, *outbuf = iconv_tmp;
110         size_t ret;
111         size_t inlen = strlen(inbuf);
112         size_t outlen = sizeof(iconv_tmp);
113         bzero(iconv_tmp, sizeof(iconv_tmp));
114         iconv(cd, NULL, 0, NULL, 0);
115
116         ret = iconv(cd, &inbuf, &inlen, &outbuf, &outlen);
117
118         if (ret == -1) {
119             fprintf(stderr, "failed to convert '%s'\n", in);
120             // Carry on regardless
121         }
122         in = iconv_tmp;
123     }
124 #endif
125
126     len = 0;
127     while(*in) {
128         int left = sizeof(escape_tmp) - len - 1;
129
130         if (left < 7)
131             break;
132
133         if (*in == '&') {
134             strcpy(&escape_tmp[len], "&amp;");
135             len += strlen("&amp;");
136         } else if (*in == '<') {
137             strcpy(&escape_tmp[len], "&lt;");
138             len += strlen("&lt;");
139         } else if (*in == '>') {
140             strcpy(&escape_tmp[len], "&gt;");
141             len += strlen("&lt;");
142         } else if (*in == '"') {
143             strcpy(&escape_tmp[len], "&quot;");
144             len += strlen("&quot;");
145         } else if ((*in >= 0) && (*in < 32)) {
146             escape_tmp[len] = '?';
147             len++;
148         } else {
149             escape_tmp[len] = *in;
150             len++;
151         }
152         
153         in++;
154     }
155     escape_tmp[len] = '\0';
156     return escape_tmp;
157 }
158
159 static void osm_tags(struct keyval *tags)
160 {
161     struct keyval *p;
162
163     while ((p = popItem(tags)) != NULL) {
164         printf(INDENT INDENT "<tag k=\"%s\"", xmlescape(p->key));
165         printf(" v=\"%s\" />\n", xmlescape(p->value));
166         freeItem(p);
167     }
168
169    resetList(tags);
170 }
171
172 static const char *lookup_user(const char *s)
173 {
174     unsigned long int user_id = strtoul(s, NULL, 10);
175     const char *user = (user_id >= 0 && user_id <= max_uid) ? user_list[user_id] : "";
176     return user ? user : "";
177 }
178
179 static void osm_node(int id, long double lat, long double lon, struct keyval *tags, const char *ts, const char *user, int version)
180 {
181     if (listHasData(tags)) {
182         printf(INDENT "<node id=\"%d\" lat=\"%.7Lf\" lon=\"%.7Lf\" timestamp=\"%s\" version=\"%d\"%s>\n", id, lat, lon, ts, version, user);
183         osm_tags(tags);
184         printf(INDENT "</node>\n");
185     } else {
186         printf(INDENT "<node id=\"%d\" lat=\"%.7Lf\" lon=\"%.7Lf\" timestamp=\"%s\" version=\"%d\"%s/>\n", id, lat, lon, ts, version, user);
187     }
188 }
189
190 static void osm_way(int id, struct keyval *nodes, struct keyval *tags, const char *ts, const char *user, int version)
191 {
192     struct keyval *p;
193
194     if (listHasData(tags) || listHasData(nodes)) {
195         printf(INDENT "<way id=\"%d\" timestamp=\"%s\" version=\"%d\"%s>\n", id, ts, version, user);
196         while ((p = popItem(nodes)) != NULL) {
197             printf(INDENT INDENT "<nd ref=\"%s\" />\n", p->value);
198             freeItem(p);
199         }
200         osm_tags(tags);
201         printf(INDENT "</way>\n");
202     } else {
203         printf(INDENT "<way id=\"%d\" timestamp=\"%s\" version=\"%d\"%s/>\n", id, ts, version, user);
204     }
205 }
206
207 static void osm_relation(int id, struct keyval *members, struct keyval *roles, struct keyval *tags, const char *ts, const char *user, int version)
208 {
209     struct keyval *p, *q;
210
211     if (listHasData(tags) || listHasData(members)) {
212         printf(INDENT "<relation id=\"%d\" timestamp=\"%s\" version=\"%d\"%s>\n", id, ts, version, user);
213         while (((p = popItem(members)) != NULL) && ((q = popItem(roles)) != NULL)) {
214             const char *m_type = p->key;
215             const char *m_id   = p->value;
216             const char *m_role = q->value;
217             printf(INDENT INDENT "<member type=\"%s\" ref=\"%s\" role=\"%s\"/>\n", m_type, m_id, m_role);
218             freeItem(p);
219             freeItem(q);
220         }
221         osm_tags(tags);
222         printf(INDENT "</relation>\n");
223     } else {
224         printf(INDENT "<relation id=\"%d\" timestamp=\"%s\" version=\"%d\"%s/>\n", id, ts, version, user);
225     }
226 }
227
228 /* In-place unescape the tag string. The char * passed in will
229    be returned from the function. Unescaping can only ever make
230    the string shorter so this is safe */
231 char *tag_unescape(char *str)
232 {
233    char *p = str;
234    char *w = str;
235    char ch;
236
237    while ( *p ) {
238        ch = *p++;
239        if ( ch == '\\' ) {
240            ch = *p++;
241            switch ( ch ) {
242            case 's': ch = ';'; break;
243            case 'e': ch = '='; break;
244            case '\\': ch = '\\'; break;
245            default:
246                // Drop the \ and allow any other char to pass unchanged
247                break;
248            }
249        }
250        *w++ = ch;
251    }
252    *w = '\0';
253    return str;
254 }
255
256 void read_tags(const char *str, struct keyval *tags)
257 {
258    enum tagState { sKey, sValue, sDone, sEnd} s;
259    char *key, *value;
260    const char *p, *key_start, *value_start;
261
262    if (!str || !*str)
263     return;
264    // key=value;key=value;...
265    // Note: This is a simple algorithm which makes no attempt to reconstruct odd data like:
266    // a=b=c  or
267    // key=value1;value2
268    p = str;
269    key_start = p;
270    s = sKey;
271    value_start = key = value = NULL;
272    while(s != sEnd) {
273        switch(s) {
274            case sKey:
275                if (!*p) {
276                    s = sEnd;
277                    break;
278                }
279                if (*p == '=') {
280                    key = strndup(key_start, p - key_start);
281                    s = sValue;
282                    value_start = p+1;
283                }
284                p++;
285                break;
286
287            case sValue:
288                if (!*p || *p == ';') {
289                    value = strndup(value_start, p - value_start);
290                    s = sDone;
291                    key_start = p+1;
292                }
293                if (*p) p++;
294                break;
295
296            case sDone:
297                addItem(tags, tag_unescape(key), tag_unescape(value), 0);
298                free(key);
299                free(value);
300                s = sKey;
301                break;
302
303            case sEnd: /* Never reached, but keeps compiler happy */
304                break;
305        }
306    }
307 }
308
309 const char *reformDate(const char *str)
310 {
311     static char out[64], prev[64]; // Not thread safe
312
313     time_t tmp;
314     struct tm tm;
315
316     // Re-use the previous answer if we asked to convert the same timestamp twice
317     // This accelerates bulk uploaded data where sequential features often have the same timestamp
318     if (!strncmp(prev, str, sizeof(prev)))
319         return out;
320     else
321         strncpy(prev, str, sizeof(prev));
322
323     // 2007-05-20 13:51:35
324     bzero(&tm, sizeof(tm));
325     int n = sscanf(str, "%d-%d-%d %d:%d:%d",
326                    &tm.tm_year, &tm.tm_mon, &tm.tm_mday, &tm.tm_hour, &tm.tm_min, &tm.tm_sec);
327
328     if (n !=6)
329         printf("failed to parse date string, got(%d): %s\n", n, str);
330
331     tm.tm_year -= 1900;
332     tm.tm_mon  -= 1;
333     tm.tm_isdst = -1;
334
335     // Rails stores the timestamps in the DB using UK localtime (ugh), convert to UTC
336     tmp = mktime(&tm);
337     gmtime_r(&tmp, &tm);
338
339     //2007-07-10T11:32:32Z
340     snprintf(out, sizeof(out), "%d-%02d-%02dT%02d:%02d:%02dZ",
341              tm.tm_year+1900, tm.tm_mon+1, tm.tm_mday, tm.tm_hour, tm.tm_min, tm.tm_sec);
342
343     return out;
344 }
345
346
347 #define TAG_CACHE (10000)
348
349 struct tCache {
350     int id;
351     struct keyval tags;
352 };
353
354 static struct tCache cache[TAG_CACHE+1];
355 static MYSQL_STMT *tags_stmt;
356 static int cache_off;
357
358 void tags_init(MYSQL *mysql, const char *table)
359 {
360     int i;
361     char query[255];
362     MYSQL_RES *prepare_meta_result;
363     tags_stmt = mysql_stmt_init(mysql);
364     assert(tags_stmt);
365
366     snprintf(query, sizeof(query), "SELECT id, k, v FROM %s WHERE id >= ? ORDER BY id LIMIT 10000", table); // LIMIT == TAG_CACHE
367
368     if (mysql_stmt_prepare(tags_stmt, query, strlen(query))) {
369         fprintf(stderr,"Cannot setup prepared query for %s: %s\n", table, mysql_error(mysql));
370         exit(1);
371     }
372     assert(mysql_stmt_param_count(tags_stmt) == 1);
373     prepare_meta_result = mysql_stmt_result_metadata(tags_stmt);
374     assert(prepare_meta_result);
375     assert(mysql_num_fields(prepare_meta_result) == 3);
376     mysql_free_result(prepare_meta_result);
377
378     for (i=0; i< TAG_CACHE; i++) {
379         initList(&cache[i].tags);
380         cache[i].id = 0;
381     }
382     cache_off = 0;
383 }
384
385 void tags_exit(void)
386 {
387     int i;
388     mysql_stmt_close(tags_stmt);
389     tags_stmt = NULL;
390     for (i=0; i< TAG_CACHE; i++)
391         resetList(&cache[i].tags);
392 }
393
394 void refill_tags(MYSQL *mysql, const int id)
395 {
396     unsigned long length[3];
397     my_bool       is_null[3];
398     my_bool       error[3];
399     MYSQL_BIND tags_bind_param[1];
400     MYSQL_BIND tags_bind_res[3];
401     char key[256], value[256];
402     int i, row_id, last_id, cache_slot;
403
404     for (i=0; i<TAG_CACHE; i++) {
405         if (!cache[i].id)
406             break;
407         resetList(&cache[i].tags);
408         cache[i].id = 0;
409     }
410
411     memset(tags_bind_param, 0, sizeof(tags_bind_param));
412     tags_bind_param[0].buffer_type= MYSQL_TYPE_LONG;
413     tags_bind_param[0].buffer= (char *)&id;
414     tags_bind_param[0].is_null= 0;
415     tags_bind_param[0].length= 0;
416
417     if (mysql_stmt_bind_param(tags_stmt, tags_bind_param)) {
418         fprintf(stderr, " mysql_stmt_bind_param() failed\n");
419         fprintf(stderr, " %s\n", mysql_stmt_error(tags_stmt));
420         exit(0);
421     }
422
423     if (mysql_stmt_execute(tags_stmt))
424     {
425         fprintf(stderr, " mysql_stmt_execute(), 1 failed\n");
426         fprintf(stderr, " %s\n", mysql_stmt_error(tags_stmt));
427         exit(0);
428     }
429
430     memset(tags_bind_res, 0, sizeof(tags_bind_res));
431
432     tags_bind_res[0].buffer_type= MYSQL_TYPE_LONG;
433     tags_bind_res[0].buffer= (char *)&row_id;
434     tags_bind_res[0].is_null= &is_null[0];
435     tags_bind_res[0].length= &length[0];
436     tags_bind_res[0].error= &error[0];
437
438     tags_bind_res[1].buffer_type= MYSQL_TYPE_VAR_STRING;
439     tags_bind_res[1].buffer_length= sizeof(key);
440     tags_bind_res[1].buffer= key;
441     tags_bind_res[1].is_null= &is_null[0];
442     tags_bind_res[1].length= &length[0];
443     tags_bind_res[1].error= &error[0];
444
445     tags_bind_res[2].buffer_type= MYSQL_TYPE_VAR_STRING;
446     tags_bind_res[2].buffer_length= sizeof(value);
447     tags_bind_res[2].buffer= value;
448     tags_bind_res[2].is_null= &is_null[1];
449     tags_bind_res[2].length= &length[1];
450     tags_bind_res[2].error= &error[1];
451
452
453     if (mysql_stmt_bind_result(tags_stmt, tags_bind_res))
454     {
455         fprintf(stderr, " mysql_stmt_bind_result() failed\n");
456         fprintf(stderr, " %s\n", mysql_stmt_error(tags_stmt));
457         exit(0);
458     }
459
460     if (mysql_stmt_store_result(tags_stmt))
461     {
462         fprintf(stderr, " mysql_stmt_store_result() failed\n");
463         fprintf(stderr, " %s\n", mysql_stmt_error(tags_stmt));
464         exit(0);
465     }
466
467     cache_slot = 0;
468     last_id = 0;
469     while (!mysql_stmt_fetch(tags_stmt)) {
470         if (last_id != row_id) {
471             if (last_id)
472                cache_slot++;
473             cache[cache_slot].id = row_id;
474             last_id = row_id;
475         }
476         addItem(&cache[cache_slot].tags, key, value, 0);
477     }
478     // We need to clean out final slot since it may be truncated, unless
479     // we only got a single slot filled then we hit the end of the table
480     // which we assume _is_ complete
481     if (cache_slot) {
482         resetList(&cache[cache_slot].tags);
483         cache[cache_slot].id = 0;
484     } else {
485         // This algorithm can not cope with > TAG_CACHE on a single way
486         assert(countList(&cache[cache_slot].tags) != TAG_CACHE);
487     }
488 }
489
490 struct keyval *get_generic_tags(MYSQL *mysql, const int id)
491 {
492     while (1) {
493         if (!cache[cache_off].id) {
494             if (cache_off == 1)
495                 return NULL; // No more tags in DB table
496             refill_tags(mysql, id);
497             cache_off = 0;
498         }
499
500         if (cache[cache_off].id > id)
501             return NULL; // No tags for this way ID
502
503         if (cache[cache_off].id == id)
504             return &cache[cache_off++].tags;
505
506         cache_off++;
507         assert (cache_off <= TAG_CACHE);
508     }
509 }
510
511 void nodes(void)
512 {
513     char query[255];
514     MYSQL_RES *res;
515     MYSQL_ROW row;
516     struct keyval *tags;
517
518     MYSQL *mysql = connection_open();
519     MYSQL *tags_mysql = connection_open();
520
521     snprintf(query, sizeof(query), "select id, latitude, longitude, timestamp, user_id, version from current_nodes where visible = 1 order by id");
522
523     if ((mysql_query(mysql, query)) || !(res= mysql_use_result(mysql))) 
524     {
525         fprintf(stderr, "Cannot query nodes: %s\n", mysql_error(mysql));
526         exit(1);
527     }
528
529     tags_init(tags_mysql, "current_node_tags");
530
531     while ((row= mysql_fetch_row(res))) {
532         int id, version;
533         long double latitude,longitude;
534
535         assert(mysql_num_fields(res) == 6);
536
537         id = strtol(row[0], NULL, 10);
538         latitude  = strtol(row[1], NULL, 10) / 10000000.0;
539         longitude = strtol(row[2], NULL, 10) / 10000000.0;
540         version = strtol(row[5], NULL, 10);
541         tags = get_generic_tags(tags_mysql, id);
542         osm_node(id, latitude, longitude, tags, reformDate(row[3]), lookup_user(row[4]), version);
543     }
544
545     mysql_free_result(res);
546     tags_exit();
547     connection_close(tags_mysql);
548     connection_close(mysql);
549 }
550
551 void ways(void)
552 {
553     char ways_query[255], nodes_query[255];
554     MYSQL_RES *ways_res, *nodes_res;
555     MYSQL_ROW ways_row, nodes_row;
556     struct keyval *tags, nodes;
557     MYSQL *ways_mysql = connection_open();
558     MYSQL *nodes_mysql = connection_open();
559     MYSQL *tags_mysql = connection_open();
560
561     initList(&nodes);
562
563     snprintf(ways_query, sizeof(ways_query),
564              "select id, timestamp, user_id, version from current_ways where visible = 1 order by id");
565     snprintf(nodes_query, sizeof(nodes_query),
566              "select id, node_id from current_way_nodes ORDER BY id, sequence_id");
567
568     if ((mysql_query(ways_mysql, ways_query)) || !(ways_res= mysql_use_result(ways_mysql)))
569     {
570         fprintf(stderr,"Cannot query current_ways: %s\n", mysql_error(ways_mysql));
571         exit(1);
572     }
573     if ((mysql_query(nodes_mysql, nodes_query)) || !(nodes_res= mysql_use_result(nodes_mysql)))
574     {
575         fprintf(stderr,"Cannot query current_way_nodes: %s\n", mysql_error(nodes_mysql));
576         exit(1);
577     }
578
579     tags_init(tags_mysql, "current_way_tags");
580
581     ways_row = mysql_fetch_row(ways_res);
582     nodes_row = mysql_fetch_row(nodes_res);
583
584     while (ways_row) {
585         int way_id = strtol(ways_row[0], NULL, 10);
586         int way_version = strtol(ways_row[3], NULL, 10);
587         // Terminating way_nd_id is necessary to ensure final way is generated.
588         int way_nd_id = nodes_row ? strtol(nodes_row[0], NULL, 10): INT_MAX;
589
590         if (way_id < way_nd_id) {
591             // no more nodes in this way
592             tags = get_generic_tags(tags_mysql, way_id);
593             osm_way(way_id, &nodes, tags, reformDate(ways_row[1]), lookup_user(ways_row[2]), way_version);
594             // fetch new way
595             ways_row= mysql_fetch_row(ways_res);
596             assert(mysql_num_fields(ways_res) == 4);
597         } else if (way_id > way_nd_id) {
598             // we have entries in current_way_nodes for a missing way, discard!
599             // fetch next way_seg
600             nodes_row = mysql_fetch_row(nodes_res);
601             assert(mysql_num_fields(nodes_res) == 2);
602         } else {
603             // in step, add current node and fetch the next one
604             addItem(&nodes, "", nodes_row[1], 0);
605             nodes_row = mysql_fetch_row(nodes_res);
606             assert(mysql_num_fields(nodes_res) == 2);
607         }
608     }
609
610     mysql_free_result(ways_res);
611     mysql_free_result(nodes_res);
612     tags_exit();
613     connection_close(tags_mysql);
614     connection_close(ways_mysql);
615     connection_close(nodes_mysql);
616 }
617
618 void relations(void)
619 {
620     char relations_query[255], members_query[255];
621     MYSQL_RES *relations_res, *members_res;
622     MYSQL_ROW relations_row, members_row;
623     struct keyval *tags, members, roles;
624     MYSQL *relations_mysql = connection_open();
625     MYSQL *members_mysql = connection_open();
626     MYSQL *tags_mysql = connection_open();
627
628     initList(&members);
629     initList(&roles);
630
631     snprintf(relations_query, sizeof(relations_query),
632              "select id, timestamp, user_id, version from current_relations where visible = 1 ORDER BY id");
633     snprintf(members_query, sizeof(members_query),
634              "select id, member_id, member_type, member_role from current_relation_members ORDER BY id");
635
636     if ((mysql_query(relations_mysql, relations_query)) || !(relations_res= mysql_use_result(relations_mysql)))
637     {
638         fprintf(stderr,"Cannot query current_relations: %s\n", mysql_error(relations_mysql));
639         exit(1);
640     }
641     if ((mysql_query(members_mysql, members_query)) || !(members_res= mysql_use_result(members_mysql)))
642     {
643         fprintf(stderr,"Cannot query current_relation_members: %s\n", mysql_error(members_mysql));
644         exit(1);
645     }
646
647     tags_init(tags_mysql, "current_relation_tags");
648
649     relations_row = mysql_fetch_row(relations_res);
650     members_row = mysql_fetch_row(members_res);
651
652     while (relations_row) {
653         int relation_id      = strtol(relations_row[0], NULL, 10);
654         int relation_version = strtol(relations_row[3], NULL, 10);
655         // Terminating relation_memb_id is necessary to ensure final way is generated.
656         int relation_memb_id = members_row ? strtol(members_row[0], NULL, 10): INT_MAX;
657
658         if (relation_id < relation_memb_id) {
659             // no more members in this way
660             tags = get_generic_tags(tags_mysql, relation_id);
661             osm_relation(relation_id, &members, &roles, tags, reformDate(relations_row[1]), lookup_user(relations_row[2]), relation_version);
662             // fetch new way
663             relations_row= mysql_fetch_row(relations_res);
664             assert(mysql_num_fields(relations_res) == 4);
665         } else if (relation_id > relation_memb_id) {
666             // we have entries in current_way_members for a missing way, discard!
667             // fetch next way_seg
668             members_row = mysql_fetch_row(members_res);
669             assert(mysql_num_fields(members_res) == 4);
670         } else {
671             // in step, add current member and fetch the next one
672             const char *m_id   = members_row[1];
673             const char *m_type = members_row[2];
674             const char *m_role = members_row[3];
675
676             addItem(&members, m_type, m_id, 0);
677             addItem(&roles, "", m_role, 0);
678             members_row = mysql_fetch_row(members_res);
679             assert(mysql_num_fields(members_res) == 4);
680         }
681     }
682
683     mysql_free_result(relations_res);
684     mysql_free_result(members_res);
685     tags_exit();
686     connection_close(relations_mysql);
687     connection_close(members_mysql);
688     connection_close(tags_mysql);
689 }
690
691 unsigned long int max_userid(void)
692 {
693     const char *sql = "SELECT MAX(id) FROM users";
694     MYSQL_RES *res;
695     MYSQL_ROW row;
696     unsigned long int max = 0;
697     MYSQL *mysql = connection_open();
698
699     if ((mysql_query(mysql, sql)) || !(res= mysql_use_result(mysql))) {
700         fprintf(stderr,"Cannot query users: %s\n", mysql_error(mysql));
701         exit(1);
702     }
703
704     while ((row=mysql_fetch_row(res))) {
705         max = strtol(row[0], NULL, 10);
706     }
707
708     mysql_free_result(res);
709     //printf("Maximum user id = %lu\n", max);
710     connection_close(mysql);
711     return max;
712 }
713
714
715 void fetch_users(void)
716 {
717     char sql[256];
718     MYSQL_RES *res;
719     MYSQL_ROW row;
720     MYSQL *mysql = connection_open();
721
722     sprintf(sql, "SELECT id,display_name from users where id <= %lu and data_public = 1", max_uid);
723
724     if ((mysql_query(mysql, sql)) || !(res= mysql_use_result(mysql))) {
725         fprintf(stderr,"Cannot query users: %s\n", mysql_error(mysql));
726         exit(1);
727     }
728
729     while ((row=mysql_fetch_row(res))) {
730         unsigned long int id;
731         const char *display_name;
732         char tmp[1024];
733         assert(mysql_num_fields(res) == 2);
734
735         id = strtoul(row[0], NULL, 10);
736         display_name = xmlescape(row[1]);
737         assert(id <= max_uid);
738         //user_list[id] = display_name;
739         //printf("User: %lu %s\n", id, display_name);
740         snprintf(tmp, sizeof(tmp), " user=\"%s\" uid=\"%lu\"", display_name, id);
741         user_list[id] = strdup(tmp);
742         assert(user_list[id]);
743     }
744
745     mysql_free_result(res); 
746     connection_close(mysql);
747 }
748
749
750 int main(int argc, char **argv)
751 {
752 #ifdef USE_ICONV
753     MYSQL *mysql = NULL;
754     MYSQL_ROW row;
755     MYSQL_RES *res;
756 #endif
757     int i;
758     int want_nodes, want_ways, want_relations;
759
760     // Database timestamps use UK localtime
761     setenv("TZ", ":GB", 1);
762
763     if (argc == 1)
764         want_nodes = want_ways = want_relations = 1;
765     else {
766         want_nodes = want_ways = want_relations = 0;
767         for(i=1; i<argc; i++) {
768             if (!strcmp(argv[i], "--nodes"))
769                 want_nodes = 1;
770             else if (!strcmp(argv[i], "--ways"))
771                 want_ways = 1;
772             else if (!strcmp(argv[i], "--relations"))
773                 want_relations = 1;
774             else {
775                 fprintf(stderr, "Usage error:\n");
776                 fprintf(stderr, "\t%s [--nodes] [--ways] [--relations]\n\n", argv[0]);
777                 fprintf(stderr, "Writes OSM planet dump to STDOUT. If no flags are specified then all data is output.\n");
778                 fprintf(stderr, "If one or more flags are set then only the requested data is dumped.\n");
779                 exit(2);
780             }
781         }
782     }
783
784 #ifdef USE_ICONV
785     mysql = connection_open();
786     if (mysql_query(mysql, "SHOW VARIABLES like 'character_set_results'") || !(res= mysql_use_result(mysql))) {
787             fprintf(stderr,"FAILED show variables: %s\n", mysql_error(mysql));
788             exit(1);
789     }
790
791     if ((row= mysql_fetch_row(res))) {
792         fprintf(stderr, "Setting up iconv for %s = %s\n", row[0], row[1]);
793         cd = iconv_open("UTF8", row[1]);
794         if (cd == (iconv_t)-1) {
795             perror("iconv_open");
796             exit(1);
797         }
798         row = mysql_fetch_row(res);
799         assert(!row);
800     } else {
801         fprintf(stderr, "Failed to fetch DB charset, assuming UTF8\n");
802     }
803     connection_close(mysql);
804     mysql = NULL;
805 #endif
806
807     printf("<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n");
808     printf("<osm version=\"0.6\" generator=\"OpenStreetMap planet.c\">\n");
809     printf("  <bound box=\"-90,-180,90,180\" origin=\"http://www.openstreetmap.org/api/0.6\" />\n");
810
811     max_uid = max_userid();
812     user_list = calloc(max_uid + 1, sizeof(char *));
813     if (!user_list) {
814         fprintf(stderr, "Malloc of user_list failed for %lu users\n", max_uid);
815         exit(1);
816     }
817
818     fetch_users();
819
820     if (want_nodes)
821         nodes();
822
823     if (want_ways)
824         ways();
825
826     if (want_relations)
827         relations();
828
829     printf("</osm>\n");
830
831 #ifdef USE_ICONV
832     iconv_close(cd);
833 #endif
834
835     for(i=0; i<=max_uid; i++)
836         free(user_list[i]);
837     free(user_list);
838
839     return 0;
840 }