Introduce 0.5 compatible planet dump again
[planetdump.git] / planet05.c
1 #ifndef _GNU_SOURCE
2 #define _GNU_SOURCE
3 #endif
4
5 #undef USE_ICONV
6
7 #include <stdio.h>
8 #include <stdlib.h>
9 #include <string.h>
10 #include <stdarg.h>
11 #include <sys/types.h>
12 #include <sys/stat.h>
13 #include <sys/socket.h>
14 #include <sys/un.h>
15 #include <unistd.h>
16 #include <fcntl.h>
17 #include <errno.h>
18 #include <limits.h>
19 #include <time.h>
20 #include <utime.h>
21
22
23 #include <mysql.h>
24 #include <mysqld_error.h>
25 #include <signal.h>
26 #include <stdarg.h>
27 #include <sslopt-vars.h>
28 #include <assert.h>
29
30 #include "keyvals.h"
31
32 #define INDENT "  "
33
34
35 #ifdef USE_ICONV
36 #include <iconv.h>
37 #define ICONV_ERROR ((iconv_t)-1)
38 static iconv_t cd = ICONV_ERROR;
39 #endif
40
41
42 static char **user_list;
43 static unsigned long max_uid;
44
45 void connection_close(MYSQL *c)
46 {
47     mysql_close(c);
48     free(c);
49 }
50
51 MYSQL *connection_open(void)
52 {
53     const char *set_timeout1 = "SET SESSION net_write_timeout=60*60*12";
54     const char *set_timeout2 = "SET SESSION interactive_timeout=60*60*12";
55     const char *set_timeout3 = "SET SESSION wait_timeout=60*60*12";
56     MYSQL *c = malloc(sizeof(MYSQL));
57
58     assert(c);
59     mysql_init(c);
60
61 #if 0
62     if (mysql_options(c, MYSQL_SET_CHARSET_NAME , "utf8")) {
63         fprintf(stderr, "set options failed\n");
64         exit(1);
65     }
66 #endif
67
68     if (!(mysql_real_connect(c,"","openstreetmap","openstreetmap","openstreetmap",MYSQL_PORT,NULL,0)))
69     {
70         fprintf(stderr,"FAILED database connection: %s\n",mysql_error(c));
71         exit(1);
72     }
73
74     if (mysql_query(c, set_timeout1)) {
75         fprintf(stderr,"FAILED %s: %s\n", set_timeout1, mysql_error(c));
76         exit(1);
77     }
78     if (mysql_query(c, set_timeout2)) {
79         fprintf(stderr,"FAILED %s: %s\n", set_timeout2, mysql_error(c));
80         exit(1);
81     }
82     if (mysql_query(c, set_timeout3)) {
83         fprintf(stderr,"FAILED %s: %s\n", set_timeout3, mysql_error(c));
84         exit(1);
85     }
86
87     return c;
88 }
89
90
91
92 /* const char *xmlescape(char *in)
93  *
94  * Character escaping for valid XML output as per http://www.w3.org/TR/REC-xml/
95  *
96  * WARNING: this function uses a static buffer so do not rely on the result
97  * being constant if called more than once
98  */
99 static const char *xmlescape(char *in)
100
101     static char escape_tmp[1024];
102     int len;
103     // Convert from DB charset to UTF8
104     // Note: this assumes that inbuf is C-string compatible, i.e. has no embedded NUL like UTF16!
105     // To fix this we'd need to fix the DB output parameters too
106 #ifdef USE_ICONV 
107     if (cd != ICONV_ERROR) {
108         char iconv_tmp[1024];
109         char *inbuf = in, *outbuf = iconv_tmp;
110         size_t ret;
111         size_t inlen = strlen(inbuf);
112         size_t outlen = sizeof(iconv_tmp);
113         bzero(iconv_tmp, sizeof(iconv_tmp));
114         iconv(cd, NULL, 0, NULL, 0);
115
116         ret = iconv(cd, &inbuf, &inlen, &outbuf, &outlen);
117
118         if (ret == -1) {
119             fprintf(stderr, "failed to convert '%s'\n", in);
120             // Carry on regardless
121         }
122         in = iconv_tmp;
123     }
124 #endif
125
126     len = 0;
127     while(*in) {
128         int left = sizeof(escape_tmp) - len - 1;
129
130         if (left < 7)
131             break;
132
133         if (*in == '&') {
134             strcpy(&escape_tmp[len], "&amp;");
135             len += strlen("&amp;");
136         } else if (*in == '<') {
137             strcpy(&escape_tmp[len], "&lt;");
138             len += strlen("&lt;");
139         } else if (*in == '>') {
140             strcpy(&escape_tmp[len], "&gt;");
141             len += strlen("&lt;");
142         } else if (*in == '"') {
143             strcpy(&escape_tmp[len], "&quot;");
144             len += strlen("&quot;");
145         } else if ((*in >= 0) && (*in < 32)) {
146             escape_tmp[len] = '?';
147             len++;
148         } else {
149             escape_tmp[len] = *in;
150             len++;
151         }
152         
153         in++;
154     }
155     escape_tmp[len] = '\0';
156     return escape_tmp;
157 }
158
159 static void osm_tags(struct keyval *tags)
160 {
161     struct keyval *p;
162
163     while ((p = popItem(tags)) != NULL) {
164         printf(INDENT INDENT "<tag k=\"%s\"", xmlescape(p->key));
165         printf(" v=\"%s\" />\n", xmlescape(p->value));
166         freeItem(p);
167     }
168
169    resetList(tags);
170 }
171
172 static const char *lookup_user(const char *s)
173 {
174     unsigned long int user_id = strtoul(s, NULL, 10);
175     const char *user = (user_id >= 0 && user_id <= max_uid) ? user_list[user_id] : "";
176     return user ? user : "";
177 }
178
179 static void osm_node(int id, long double lat, long double lon, struct keyval *tags, const char *ts, const char *user)
180 {
181     if (listHasData(tags)) {
182         printf(INDENT "<node id=\"%d\" lat=\"%.7Lf\" lon=\"%.7Lf\" timestamp=\"%s\"%s>\n", id, lat, lon, ts, user);
183         osm_tags(tags);
184         printf(INDENT "</node>\n");
185     } else {
186         printf(INDENT "<node id=\"%d\" lat=\"%.7Lf\" lon=\"%.7Lf\" timestamp=\"%s\"%s/>\n", id, lat, lon, ts, user);
187     }
188 }
189
190 static void osm_way(int id, struct keyval *nodes, struct keyval *tags, const char *ts, const char *user)
191 {
192     struct keyval *p;
193
194     if (listHasData(tags) || listHasData(nodes)) {
195         printf(INDENT "<way id=\"%d\" timestamp=\"%s\"%s>\n", id, ts, user);
196         while ((p = popItem(nodes)) != NULL) {
197             printf(INDENT INDENT "<nd ref=\"%s\" />\n", p->value);
198             freeItem(p);
199         }
200         osm_tags(tags);
201         printf(INDENT "</way>\n");
202     } else {
203         printf(INDENT "<way id=\"%d\" timestamp=\"%s\"%s/>\n", id, ts, user);
204     }
205 }
206
207 static void osm_relation(int id, struct keyval *members, struct keyval *roles, struct keyval *tags, const char *ts, const char *user)
208 {
209     struct keyval *p, *q;
210
211     if (listHasData(tags) || listHasData(members)) {
212         printf(INDENT "<relation id=\"%d\" timestamp=\"%s\"%s>\n", id, ts, user);
213         while (((p = popItem(members)) != NULL) && ((q = popItem(roles)) != NULL)) {
214             const char *m_type = p->key;
215             const char *m_id   = p->value;
216             const char *m_role = q->value;
217             printf(INDENT INDENT "<member type=\"%s\" ref=\"%s\" role=\"%s\"/>\n", m_type, m_id, m_role);
218             freeItem(p);
219             freeItem(q);
220         }
221         osm_tags(tags);
222         printf(INDENT "</relation>\n");
223     } else {
224         printf(INDENT "<relation id=\"%d\" timestamp=\"%s\"%s/>\n", id, ts, user);
225     }
226 }
227
228 /* In-place unescape the tag string. The char * passed in will
229    be returned from the function. Unescaping can only ever make
230    the string shorter so this is safe */
231 char *tag_unescape(char *str)
232 {
233    char *p = str;
234    char *w = str;
235    char ch;
236
237    while ( *p ) {
238        ch = *p++;
239        if ( ch == '\\' ) {
240            ch = *p++;
241            switch ( ch ) {
242            case 's': ch = ';'; break;
243            case 'e': ch = '='; break;
244            case '\\': ch = '\\'; break;
245            default:
246                // Drop the \ and allow any other char to pass unchanged
247                break;
248            }
249        }
250        *w++ = ch;
251    }
252    *w = '\0';
253    return str;
254 }
255
256 void read_tags(const char *str, struct keyval *tags)
257 {
258    enum tagState { sKey, sValue, sDone, sEnd} s;
259    char *key, *value;
260    const char *p, *key_start, *value_start;
261
262    if (!str || !*str)
263     return;
264    // key=value;key=value;...
265    // Note: This is a simple algorithm which makes no attempt to reconstruct odd data like:
266    // a=b=c  or
267    // key=value1;value2
268    p = str;
269    key_start = p;
270    s = sKey;
271    value_start = key = value = NULL;
272    while(s != sEnd) {
273        switch(s) {
274            case sKey:
275                if (!*p) {
276                    s = sEnd;
277                    break;
278                }
279                if (*p == '=') {
280                    key = strndup(key_start, p - key_start);
281                    s = sValue;
282                    value_start = p+1;
283                }
284                p++;
285                break;
286
287            case sValue:
288                if (!*p || *p == ';') {
289                    value = strndup(value_start, p - value_start);
290                    s = sDone;
291                    key_start = p+1;
292                }
293                if (*p) p++;
294                break;
295
296            case sDone:
297                addItem(tags, tag_unescape(key), tag_unescape(value), 0);
298                free(key);
299                free(value);
300                s = sKey;
301                break;
302
303            case sEnd: /* Never reached, but keeps compiler happy */
304                break;
305        }
306    }
307 }
308
309 const char *reformDate(const char *str)
310 {
311     static char out[64], prev[64]; // Not thread safe
312
313     time_t tmp;
314     struct tm tm;
315
316     // Re-use the previous answer if we asked to convert the same timestamp twice
317     // This accelerates bulk uploaded data where sequential features often have the same timestamp
318     if (!strncmp(prev, str, sizeof(prev)))
319         return out;
320     else
321         strncpy(prev, str, sizeof(prev));
322
323     // 2007-05-20 13:51:35
324     bzero(&tm, sizeof(tm));
325     int n = sscanf(str, "%d-%d-%d %d:%d:%d",
326                    &tm.tm_year, &tm.tm_mon, &tm.tm_mday, &tm.tm_hour, &tm.tm_min, &tm.tm_sec);
327
328     if (n !=6)
329         printf("failed to parse date string, got(%d): %s\n", n, str);
330
331     tm.tm_year -= 1900;
332     tm.tm_mon  -= 1;
333     tm.tm_isdst = -1;
334
335     // Rails stores the timestamps in the DB using UK localtime (ugh), convert to UTC
336     tmp = mktime(&tm);
337     gmtime_r(&tmp, &tm);
338
339     //2007-07-10T11:32:32Z
340     snprintf(out, sizeof(out), "%d-%02d-%02dT%02d:%02d:%02dZ",
341              tm.tm_year+1900, tm.tm_mon+1, tm.tm_mday, tm.tm_hour, tm.tm_min, tm.tm_sec);
342
343     return out;
344 }
345
346 void nodes(void)
347 {
348     char query[255];
349     MYSQL_RES *res;
350     MYSQL_ROW row;
351     struct keyval tags;
352     MYSQL *mysql = connection_open();
353
354     initList(&tags);
355
356     snprintf(query, sizeof(query), "select id, latitude, longitude, timestamp, tags, user_id from current_nodes where visible = 1 order by id");
357
358     if ((mysql_query(mysql, query)) || !(res= mysql_use_result(mysql)))
359     {
360         fprintf(stderr,"Cannot query nodes: %s\n", mysql_error(mysql));
361         exit(1);
362     }
363
364     while ((row= mysql_fetch_row(res))) {
365         long int id;
366         long double latitude,longitude;
367
368         assert(mysql_num_fields(res) == 6);
369
370         id = strtol(row[0], NULL, 10);
371         latitude  = strtol(row[1], NULL, 10) / 10000000.0;
372         longitude = strtol(row[2], NULL, 10) / 10000000.0;
373         read_tags(row[4], &tags);
374
375         osm_node(id, latitude, longitude, &tags, reformDate(row[3]), lookup_user(row[5]));
376     }
377
378     mysql_free_result(res);
379     connection_close(mysql);
380 }
381
382 #define TAG_CACHE (10000)
383
384 struct tCache {
385     int id;
386     struct keyval tags;
387 };
388
389 static struct tCache cache[TAG_CACHE+1];
390 static MYSQL_STMT *tags_stmt;
391 static int cache_off;
392
393 void tags_init(MYSQL *mysql, const char *table)
394 {
395     int i;
396     char query[255];
397     MYSQL_RES *prepare_meta_result;
398     tags_stmt = mysql_stmt_init(mysql);
399     assert(tags_stmt);
400
401     snprintf(query, sizeof(query), "SELECT id, k, v FROM %s WHERE id >= ? ORDER BY id LIMIT 10000", table); // LIMIT == TAG_CACHE
402
403     if (mysql_stmt_prepare(tags_stmt, query, strlen(query))) {
404         fprintf(stderr,"Cannot setup prepared query for %s: %s\n", table, mysql_error(mysql));
405         exit(1);
406     }
407     assert(mysql_stmt_param_count(tags_stmt) == 1);
408     prepare_meta_result = mysql_stmt_result_metadata(tags_stmt);
409     assert(prepare_meta_result);
410     assert(mysql_num_fields(prepare_meta_result) == 3);
411     mysql_free_result(prepare_meta_result);
412
413     for (i=0; i< TAG_CACHE; i++) {
414         initList(&cache[i].tags);
415         cache[i].id = 0;
416     }
417     cache_off = 0;
418 }
419
420 void tags_exit(void)
421 {
422     int i;
423     mysql_stmt_close(tags_stmt);
424     tags_stmt = NULL;
425     for (i=0; i< TAG_CACHE; i++)
426         resetList(&cache[i].tags);
427 }
428
429 void refill_tags(MYSQL *mysql, const int id)
430 {
431     unsigned long length[3];
432     my_bool       is_null[3];
433     my_bool       error[3];
434     MYSQL_BIND tags_bind_param[1];
435     MYSQL_BIND tags_bind_res[3];
436     char key[256], value[256];
437     int i, row_id, last_id, cache_slot;
438
439     for (i=0; i<TAG_CACHE; i++) {
440         if (!cache[i].id)
441             break;
442         resetList(&cache[i].tags);
443         cache[i].id = 0;
444     }
445
446     memset(tags_bind_param, 0, sizeof(tags_bind_param));
447     tags_bind_param[0].buffer_type= MYSQL_TYPE_LONG;
448     tags_bind_param[0].buffer= (char *)&id;
449     tags_bind_param[0].is_null= 0;
450     tags_bind_param[0].length= 0;
451
452     if (mysql_stmt_bind_param(tags_stmt, tags_bind_param)) {
453         fprintf(stderr, " mysql_stmt_bind_param() failed\n");
454         fprintf(stderr, " %s\n", mysql_stmt_error(tags_stmt));
455         exit(0);
456     }
457
458     if (mysql_stmt_execute(tags_stmt))
459     {
460         fprintf(stderr, " mysql_stmt_execute(), 1 failed\n");
461         fprintf(stderr, " %s\n", mysql_stmt_error(tags_stmt));
462         exit(0);
463     }
464
465     memset(tags_bind_res, 0, sizeof(tags_bind_res));
466
467     tags_bind_res[0].buffer_type= MYSQL_TYPE_LONG;
468     tags_bind_res[0].buffer= (char *)&row_id;
469     tags_bind_res[0].is_null= &is_null[0];
470     tags_bind_res[0].length= &length[0];
471     tags_bind_res[0].error= &error[0];
472
473     tags_bind_res[1].buffer_type= MYSQL_TYPE_VAR_STRING;
474     tags_bind_res[1].buffer_length= sizeof(key);
475     tags_bind_res[1].buffer= key;
476     tags_bind_res[1].is_null= &is_null[0];
477     tags_bind_res[1].length= &length[0];
478     tags_bind_res[1].error= &error[0];
479
480     tags_bind_res[2].buffer_type= MYSQL_TYPE_VAR_STRING;
481     tags_bind_res[2].buffer_length= sizeof(value);
482     tags_bind_res[2].buffer= value;
483     tags_bind_res[2].is_null= &is_null[1];
484     tags_bind_res[2].length= &length[1];
485     tags_bind_res[2].error= &error[1];
486
487
488     if (mysql_stmt_bind_result(tags_stmt, tags_bind_res))
489     {
490         fprintf(stderr, " mysql_stmt_bind_result() failed\n");
491         fprintf(stderr, " %s\n", mysql_stmt_error(tags_stmt));
492         exit(0);
493     }
494
495     if (mysql_stmt_store_result(tags_stmt))
496     {
497         fprintf(stderr, " mysql_stmt_store_result() failed\n");
498         fprintf(stderr, " %s\n", mysql_stmt_error(tags_stmt));
499         exit(0);
500     }
501
502     cache_slot = 0;
503     last_id = 0;
504     while (!mysql_stmt_fetch(tags_stmt)) {
505         if (last_id != row_id) {
506             if (last_id)
507                cache_slot++;
508             cache[cache_slot].id = row_id;
509             last_id = row_id;
510         }
511         addItem(&cache[cache_slot].tags, key, value, 0);
512     }
513     // We need to clean out final slot since it may be truncated, unless
514     // we only got a single slot filled then we hit the end of the table
515     // which we assume _is_ complete
516     if (cache_slot) {
517         resetList(&cache[cache_slot].tags);
518         cache[cache_slot].id = 0;
519     } else {
520         // This algorithm can not cope with > TAG_CACHE on a single way
521         assert(countList(&cache[cache_slot].tags) != TAG_CACHE);
522     }
523 }
524
525 struct keyval *get_generic_tags(MYSQL *mysql, const int id)
526 {
527     while (1) {
528         if (!cache[cache_off].id) {
529             if (cache_off == 1)
530                 return NULL; // No more tags in DB table
531             refill_tags(mysql, id);
532             cache_off = 0;
533         }
534
535         if (cache[cache_off].id > id)
536             return NULL; // No tags for this way ID
537
538         if (cache[cache_off].id == id)
539             return &cache[cache_off++].tags;
540
541         cache_off++;
542         assert (cache_off <= TAG_CACHE);
543     }
544 }
545
546 void ways(void)
547 {
548     char ways_query[255], nodes_query[255];
549     MYSQL_RES *ways_res, *nodes_res;
550     MYSQL_ROW ways_row, nodes_row;
551     struct keyval *tags, nodes;
552     MYSQL *ways_mysql = connection_open();
553     MYSQL *nodes_mysql = connection_open();
554     MYSQL *tags_mysql = connection_open();
555
556     initList(&nodes);
557
558     snprintf(ways_query, sizeof(ways_query),
559              "select id, timestamp, user_id from current_ways where visible = 1 order by id");
560     snprintf(nodes_query, sizeof(nodes_query),
561              "select id, node_id from current_way_nodes ORDER BY id, sequence_id");
562
563     if ((mysql_query(ways_mysql, ways_query)) || !(ways_res= mysql_use_result(ways_mysql)))
564     {
565         fprintf(stderr,"Cannot query current_ways: %s\n", mysql_error(ways_mysql));
566         exit(1);
567     }
568     if ((mysql_query(nodes_mysql, nodes_query)) || !(nodes_res= mysql_use_result(nodes_mysql)))
569     {
570         fprintf(stderr,"Cannot query current_way_nodes: %s\n", mysql_error(nodes_mysql));
571         exit(1);
572     }
573
574     tags_init(tags_mysql, "current_way_tags");
575
576     ways_row = mysql_fetch_row(ways_res);
577     nodes_row = mysql_fetch_row(nodes_res);
578
579     while (ways_row) {
580         int way_id = strtol(ways_row[0], NULL, 10);
581         // Terminating way_nd_id is necessary to ensure final way is generated.
582         int way_nd_id = nodes_row ? strtol(nodes_row[0], NULL, 10): INT_MAX;
583
584         if (way_id < way_nd_id) {
585             // no more nodes in this way
586             tags = get_generic_tags(tags_mysql, way_id);
587             osm_way(way_id, &nodes, tags, reformDate(ways_row[1]), lookup_user(ways_row[2]));
588             // fetch new way
589             ways_row= mysql_fetch_row(ways_res);
590             assert(mysql_num_fields(ways_res) == 3);
591         } else if (way_id > way_nd_id) {
592             // we have entries in current_way_nodes for a missing way, discard!
593             // fetch next way_seg
594             nodes_row = mysql_fetch_row(nodes_res);
595             assert(mysql_num_fields(nodes_res) == 2);
596         } else {
597             // in step, add current node and fetch the next one
598             addItem(&nodes, "", nodes_row[1], 0);
599             nodes_row = mysql_fetch_row(nodes_res);
600             assert(mysql_num_fields(nodes_res) == 2);
601         }
602     }
603
604     mysql_free_result(ways_res);
605     mysql_free_result(nodes_res);
606     tags_exit();
607     connection_close(tags_mysql);
608     connection_close(ways_mysql);
609     connection_close(nodes_mysql);
610 }
611
612 void relations(void)
613 {
614     char relations_query[255], members_query[255];
615     MYSQL_RES *relations_res, *members_res;
616     MYSQL_ROW relations_row, members_row;
617     struct keyval *tags, members, roles;
618     MYSQL *relations_mysql = connection_open();
619     MYSQL *members_mysql = connection_open();
620     MYSQL *tags_mysql = connection_open();
621
622     initList(&members);
623     initList(&roles);
624
625     snprintf(relations_query, sizeof(relations_query),
626              "select id, timestamp, user_id from current_relations where visible = 1 ORDER BY id");
627     snprintf(members_query, sizeof(members_query),
628              "select id, member_id, member_type, member_role from current_relation_members ORDER BY id");
629
630     if ((mysql_query(relations_mysql, relations_query)) || !(relations_res= mysql_use_result(relations_mysql)))
631     {
632         fprintf(stderr,"Cannot query current_relations: %s\n", mysql_error(relations_mysql));
633         exit(1);
634     }
635     if ((mysql_query(members_mysql, members_query)) || !(members_res= mysql_use_result(members_mysql)))
636     {
637         fprintf(stderr,"Cannot query current_relation_members: %s\n", mysql_error(members_mysql));
638         exit(1);
639     }
640
641     tags_init(tags_mysql, "current_relation_tags");
642
643     relations_row = mysql_fetch_row(relations_res);
644     members_row = mysql_fetch_row(members_res);
645
646     while (relations_row) {
647         int relation_id     = strtol(relations_row[0], NULL, 10);
648         // Terminating relation_memb_id is necessary to ensure final way is generated.
649         int relation_memb_id = members_row ? strtol(members_row[0], NULL, 10): INT_MAX;
650
651         if (relation_id < relation_memb_id) {
652             // no more members in this way
653             tags = get_generic_tags(tags_mysql, relation_id);
654             osm_relation(relation_id, &members, &roles, tags, reformDate(relations_row[1]), lookup_user(relations_row[2]));
655             // fetch new way
656             relations_row= mysql_fetch_row(relations_res);
657             assert(mysql_num_fields(relations_res) == 3);
658         } else if (relation_id > relation_memb_id) {
659             // we have entries in current_way_members for a missing way, discard!
660             // fetch next way_seg
661             members_row = mysql_fetch_row(members_res);
662             assert(mysql_num_fields(members_res) == 4);
663         } else {
664             // in step, add current member and fetch the next one
665             const char *m_id   = members_row[1];
666             const char *m_type = members_row[2];
667             const char *m_role = members_row[3];
668
669             addItem(&members, m_type, m_id, 0);
670             addItem(&roles, "", m_role, 0);
671             members_row = mysql_fetch_row(members_res);
672             assert(mysql_num_fields(members_res) == 4);
673         }
674     }
675
676     mysql_free_result(relations_res);
677     mysql_free_result(members_res);
678     tags_exit();
679     connection_close(relations_mysql);
680     connection_close(members_mysql);
681     connection_close(tags_mysql);
682 }
683
684 unsigned long int max_userid(void)
685 {
686     const char *sql = "SELECT MAX(id) FROM users";
687     MYSQL_RES *res;
688     MYSQL_ROW row;
689     unsigned long int max = 0;
690     MYSQL *mysql = connection_open();
691
692     if ((mysql_query(mysql, sql)) || !(res= mysql_use_result(mysql))) {
693         fprintf(stderr,"Cannot query users: %s\n", mysql_error(mysql));
694         exit(1);
695     }
696
697     while ((row=mysql_fetch_row(res))) {
698         max = strtol(row[0], NULL, 10);
699     }
700
701     mysql_free_result(res);
702     //printf("Maximum user id = %lu\n", max);
703     connection_close(mysql);
704     return max;
705 }
706
707
708 void fetch_users(void)
709 {
710     char sql[256];
711     MYSQL_RES *res;
712     MYSQL_ROW row;
713     MYSQL *mysql = connection_open();
714
715     sprintf(sql, "SELECT id,display_name from users where id <= %lu and data_public = 1", max_uid);
716
717     if ((mysql_query(mysql, sql)) || !(res= mysql_use_result(mysql))) {
718         fprintf(stderr,"Cannot query users: %s\n", mysql_error(mysql));
719         exit(1);
720     }
721
722     while ((row=mysql_fetch_row(res))) {
723         unsigned long int id;
724         const char *display_name;
725         char tmp[1024];
726         assert(mysql_num_fields(res) == 2);
727
728         id = strtoul(row[0], NULL, 10);
729         display_name = xmlescape(row[1]);
730         assert(id <= max_uid);
731         //user_list[id] = display_name;
732         //printf("User: %lu %s\n", id, display_name);
733         snprintf(tmp, sizeof(tmp), " user=\"%s\" uid=\"%lu\"", display_name, id);
734         user_list[id] = strdup(tmp);
735         assert(user_list[id]);
736     }
737
738     mysql_free_result(res); 
739     connection_close(mysql);
740 }
741
742
743 int main(int argc, char **argv)
744 {
745 #ifdef USE_ICONV
746     MYSQL *mysql = NULL;
747     MYSQL_ROW row;
748     MYSQL_RES *res;
749 #endif
750     int i;
751     int want_nodes, want_ways, want_relations;
752
753     // Database timestamps use UK localtime
754     setenv("TZ", ":GB", 1);
755
756     if (argc == 1)
757         want_nodes = want_ways = want_relations = 1;
758     else {
759         want_nodes = want_ways = want_relations = 0;
760         for(i=1; i<argc; i++) {
761             if (!strcmp(argv[i], "--nodes"))
762                 want_nodes = 1;
763             else if (!strcmp(argv[i], "--ways"))
764                 want_ways = 1;
765             else if (!strcmp(argv[i], "--relations"))
766                 want_relations = 1;
767             else {
768                 fprintf(stderr, "Usage error:\n");
769                 fprintf(stderr, "\t%s [--nodes] [--ways] [--relations]\n\n", argv[0]);
770                 fprintf(stderr, "Writes OSM planet dump to STDOUT. If no flags are specified then all data is output.\n");
771                 fprintf(stderr, "If one or more flags are set then only the requested data is dumped.\n");
772                 exit(2);
773             }
774         }
775     }
776
777 #ifdef USE_ICONV
778     mysql = connection_open();
779     if (mysql_query(mysql, "SHOW VARIABLES like 'character_set_results'") || !(res= mysql_use_result(mysql))) {
780             fprintf(stderr,"FAILED show variables: %s\n", mysql_error(mysql));
781             exit(1);
782     }
783
784     if ((row= mysql_fetch_row(res))) {
785         fprintf(stderr, "Setting up iconv for %s = %s\n", row[0], row[1]);
786         cd = iconv_open("UTF8", row[1]);
787         if (cd == (iconv_t)-1) {
788             perror("iconv_open");
789             exit(1);
790         }
791         row = mysql_fetch_row(res);
792         assert(!row);
793     } else {
794         fprintf(stderr, "Failed to fetch DB charset, assuming UTF8\n");
795     }
796     connection_close(mysql);
797     mysql = NULL;
798 #endif
799
800     printf("<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n");
801     printf("<osm version=\"0.5\" generator=\"OpenStreetMap planet.c\">\n");
802     printf("  <bound box=\"-90,-180,90,180\" origin=\"http://www.openstreetmap.org/api/0.5\" />\n");
803
804     max_uid = max_userid();
805     user_list = calloc(max_uid + 1, sizeof(char *));
806     if (!user_list) {
807         fprintf(stderr, "Malloc of user_list failed for %lu users\n", max_uid);
808         exit(1);
809     }
810
811     fetch_users();
812
813     if (want_nodes)
814         nodes();
815
816     if (want_ways)
817         ways();
818
819     if (want_relations)
820         relations();
821
822     printf("</osm>\n");
823
824 #ifdef USE_ICONV
825     iconv_close(cd);
826 #endif
827
828     for(i=0; i<=max_uid; i++)
829         free(user_list[i]);
830     free(user_list);
831
832     return 0;
833 }