duplicate of planet.c, removing .6 version field
[planetdump.git] / planet05.c
1 #ifndef _GNU_SOURCE
2 #define _GNU_SOURCE
3 #endif
4
5 #undef USE_ICONV
6
7 #include <stdio.h>
8 #include <stdlib.h>
9 #include <string.h>
10 #include <stdarg.h>
11 #include <sys/types.h>
12 #include <sys/stat.h>
13 #include <sys/socket.h>
14 #include <sys/un.h>
15 #include <unistd.h>
16 #include <fcntl.h>
17 #include <errno.h>
18 #include <limits.h>
19 #include <time.h>
20 #include <utime.h>
21
22
23 #include <mysql.h>
24 #include <mysqld_error.h>
25 #include <signal.h>
26 #include <stdarg.h>
27 #include <sslopt-vars.h>
28 #include <assert.h>
29
30 #include "keyvals.h"
31
32 #define INDENT "  "
33
34
35 #ifdef USE_ICONV
36 #include <iconv.h>
37 #define ICONV_ERROR ((iconv_t)-1)
38 static iconv_t cd = ICONV_ERROR;
39 #endif
40
41
42 static char **user_list;
43 static unsigned long max_uid;
44
45 void connection_close(MYSQL *c)
46 {
47     mysql_close(c);
48     free(c);
49 }
50
51 MYSQL *connection_open(void)
52 {
53     const char *set_timeout1 = "SET SESSION net_write_timeout=60*60*12";
54     const char *set_timeout2 = "SET SESSION interactive_timeout=60*60*12";
55     const char *set_timeout3 = "SET SESSION wait_timeout=60*60*12";
56     MYSQL *c = malloc(sizeof(MYSQL));
57
58     assert(c);
59     mysql_init(c);
60
61 #if 0
62     if (mysql_options(c, MYSQL_SET_CHARSET_NAME , "utf8")) {
63         fprintf(stderr, "set options failed\n");
64         exit(1);
65     }
66 #endif
67
68     if (!(mysql_real_connect(c,"","openstreetmap","openstreetmap","openstreetmap",MYSQL_PORT,NULL,0)))
69     {
70         fprintf(stderr,"FAILED database connection: %s\n",mysql_error(c));
71         exit(1);
72     }
73
74     if (mysql_query(c, set_timeout1)) {
75         fprintf(stderr,"FAILED %s: %s\n", set_timeout1, mysql_error(c));
76         exit(1);
77     }
78     if (mysql_query(c, set_timeout2)) {
79         fprintf(stderr,"FAILED %s: %s\n", set_timeout2, mysql_error(c));
80         exit(1);
81     }
82     if (mysql_query(c, set_timeout3)) {
83         fprintf(stderr,"FAILED %s: %s\n", set_timeout3, mysql_error(c));
84         exit(1);
85     }
86
87     return c;
88 }
89
90
91
92 /* const char *xmlescape(char *in)
93  *
94  * Character escaping for valid XML output as per http://www.w3.org/TR/REC-xml/
95  *
96  * WARNING: this function uses a static buffer so do not rely on the result
97  * being constant if called more than once
98  */
99 static const char *xmlescape(char *in)
100
101     static char escape_tmp[1024];
102     int len;
103     // Convert from DB charset to UTF8
104     // Note: this assumes that inbuf is C-string compatible, i.e. has no embedded NUL like UTF16!
105     // To fix this we'd need to fix the DB output parameters too
106 #ifdef USE_ICONV 
107     if (cd != ICONV_ERROR) {
108         char iconv_tmp[1024];
109         char *inbuf = in, *outbuf = iconv_tmp;
110         size_t ret;
111         size_t inlen = strlen(inbuf);
112         size_t outlen = sizeof(iconv_tmp);
113         bzero(iconv_tmp, sizeof(iconv_tmp));
114         iconv(cd, NULL, 0, NULL, 0);
115
116         ret = iconv(cd, &inbuf, &inlen, &outbuf, &outlen);
117
118         if (ret == -1) {
119             fprintf(stderr, "failed to convert '%s'\n", in);
120             // Carry on regardless
121         }
122         in = iconv_tmp;
123     }
124 #endif
125
126     len = 0;
127     while(*in) {
128         int left = sizeof(escape_tmp) - len - 1;
129
130         if (left < 7)
131             break;
132
133         if (*in == '&') {
134             strcpy(&escape_tmp[len], "&amp;");
135             len += strlen("&amp;");
136         } else if (*in == '<') {
137             strcpy(&escape_tmp[len], "&lt;");
138             len += strlen("&lt;");
139         } else if (*in == '>') {
140             strcpy(&escape_tmp[len], "&gt;");
141             len += strlen("&lt;");
142         } else if (*in == '"') {
143             strcpy(&escape_tmp[len], "&quot;");
144             len += strlen("&quot;");
145         } else if ((*in >= 0) && (*in < 32)) {
146             escape_tmp[len] = '?';
147             len++;
148         } else {
149             escape_tmp[len] = *in;
150             len++;
151         }
152         
153         in++;
154     }
155     escape_tmp[len] = '\0';
156     return escape_tmp;
157 }
158
159 static void osm_tags(struct keyval *tags)
160 {
161     struct keyval *p;
162
163     while ((p = popItem(tags)) != NULL) {
164         printf(INDENT INDENT "<tag k=\"%s\"", xmlescape(p->key));
165         printf(" v=\"%s\" />\n", xmlescape(p->value));
166         freeItem(p);
167     }
168
169    resetList(tags);
170 }
171
172 static const char *lookup_user(const char *s)
173 {
174     unsigned long int user_id = strtoul(s, NULL, 10);
175     const char *user = (user_id >= 0 && user_id <= max_uid) ? user_list[user_id] : "";
176     return user ? user : "";
177 }
178
179 static void osm_node(int id, long double lat, long double lon, struct keyval *tags, const char *ts, const char *user)
180 {
181     if (listHasData(tags)) {
182         printf(INDENT "<node id=\"%d\" lat=\"%.7Lf\" lon=\"%.7Lf\" timestamp=\"%s\"%s>\n", id, lat, lon, ts, user);
183         osm_tags(tags);
184         printf(INDENT "</node>\n");
185     } else {
186         printf(INDENT "<node id=\"%d\" lat=\"%.7Lf\" lon=\"%.7Lf\" timestamp=\"%s\"%s/>\n", id, lat, lon, ts, user);
187     }
188 }
189
190 static void osm_way(int id, struct keyval *nodes, struct keyval *tags, const char *ts, const char *user)
191 {
192     struct keyval *p;
193
194     if (listHasData(tags) || listHasData(nodes)) {
195         printf(INDENT "<way id=\"%d\" timestamp=\"%s\"%s>\n", id, ts, user);
196         while ((p = popItem(nodes)) != NULL) {
197             printf(INDENT INDENT "<nd ref=\"%s\" />\n", p->value);
198             freeItem(p);
199         }
200         osm_tags(tags);
201         printf(INDENT "</way>\n");
202     } else {
203         printf(INDENT "<way id=\"%d\" timestamp=\"%s\"%s/>\n", id, ts, user);
204     }
205 }
206
207 static void osm_relation(int id, struct keyval *members, struct keyval *roles, struct keyval *tags, const char *ts, const char *user)
208 {
209     struct keyval *p, *q;
210
211     if (listHasData(tags) || listHasData(members)) {
212         printf(INDENT "<relation id=\"%d\" timestamp=\"%s\"%s>\n", id, ts, user);
213         while (((p = popItem(members)) != NULL) && ((q = popItem(roles)) != NULL)) {
214             const char *m_type = p->key;
215             const char *m_id   = p->value;
216             const char *m_role = q->value;
217             printf(INDENT INDENT "<member type=\"%s\" ref=\"%s\" role=\"%s\"/>\n", m_type, m_id, m_role);
218             freeItem(p);
219             freeItem(q);
220         }
221         osm_tags(tags);
222         printf(INDENT "</relation>\n");
223     } else {
224         printf(INDENT "<relation id=\"%d\" timestamp=\"%s\"%s/>\n", id, ts, user);
225     }
226 }
227
228 /* In-place unescape the tag string. The char * passed in will
229    be returned from the function. Unescaping can only ever make
230    the string shorter so this is safe */
231 char *tag_unescape(char *str)
232 {
233    char *p = str;
234    char *w = str;
235    char ch;
236
237    while ( *p ) {
238        ch = *p++;
239        if ( ch == '\\' ) {
240            ch = *p++;
241            switch ( ch ) {
242            case 's': ch = ';'; break;
243            case 'e': ch = '='; break;
244            case '\\': ch = '\\'; break;
245            default:
246                // Drop the \ and allow any other char to pass unchanged
247                break;
248            }
249        }
250        *w++ = ch;
251    }
252    *w = '\0';
253    return str;
254 }
255
256 void read_tags(const char *str, struct keyval *tags)
257 {
258    enum tagState { sKey, sValue, sDone, sEnd} s;
259    char *key, *value;
260    const char *p, *key_start, *value_start;
261
262    if (!str || !*str)
263     return;
264    // key=value;key=value;...
265    // Note: This is a simple algorithm which makes no attempt to reconstruct odd data like:
266    // a=b=c  or
267    // key=value1;value2
268    p = str;
269    key_start = p;
270    s = sKey;
271    value_start = key = value = NULL;
272    while(s != sEnd) {
273        switch(s) {
274            case sKey:
275                if (!*p) {
276                    s = sEnd;
277                    break;
278                }
279                if (*p == '=') {
280                    key = strndup(key_start, p - key_start);
281                    s = sValue;
282                    value_start = p+1;
283                }
284                p++;
285                break;
286
287            case sValue:
288                if (!*p || *p == ';') {
289                    value = strndup(value_start, p - value_start);
290                    s = sDone;
291                    key_start = p+1;
292                }
293                if (*p) p++;
294                break;
295
296            case sDone:
297                addItem(tags, tag_unescape(key), tag_unescape(value), 0);
298                free(key);
299                free(value);
300                s = sKey;
301                break;
302
303            case sEnd: /* Never reached, but keeps compiler happy */
304                break;
305        }
306    }
307 }
308
309 const char *reformDate(const char *str)
310 {
311     static char out[64], prev[64]; // Not thread safe
312
313     time_t tmp;
314     struct tm tm;
315
316     // Re-use the previous answer if we asked to convert the same timestamp twice
317     // This accelerates bulk uploaded data where sequential features often have the same timestamp
318     if (!strncmp(prev, str, sizeof(prev)))
319         return out;
320     else
321         strncpy(prev, str, sizeof(prev));
322
323     // 2007-05-20 13:51:35
324     bzero(&tm, sizeof(tm));
325     int n = sscanf(str, "%d-%d-%d %d:%d:%d",
326                    &tm.tm_year, &tm.tm_mon, &tm.tm_mday, &tm.tm_hour, &tm.tm_min, &tm.tm_sec);
327
328     if (n !=6)
329         printf("failed to parse date string, got(%d): %s\n", n, str);
330
331     tm.tm_year -= 1900;
332     tm.tm_mon  -= 1;
333     tm.tm_isdst = -1;
334
335     // Rails stores the timestamps in the DB using UK localtime (ugh), convert to UTC
336     tmp = mktime(&tm);
337     gmtime_r(&tmp, &tm);
338
339     //2007-07-10T11:32:32Z
340     snprintf(out, sizeof(out), "%d-%02d-%02dT%02d:%02d:%02dZ",
341              tm.tm_year+1900, tm.tm_mon+1, tm.tm_mday, tm.tm_hour, tm.tm_min, tm.tm_sec);
342
343     return out;
344 }
345
346
347 #define TAG_CACHE (10000)
348
349 struct tCache {
350     int id;
351     struct keyval tags;
352 };
353
354 static struct tCache cache[TAG_CACHE+1];
355 static MYSQL_STMT *tags_stmt;
356 static int cache_off;
357
358 void tags_init(MYSQL *mysql, const char *table)
359 {
360     int i;
361     char query[255];
362     MYSQL_RES *prepare_meta_result;
363     tags_stmt = mysql_stmt_init(mysql);
364     assert(tags_stmt);
365
366     snprintf(query, sizeof(query), "SELECT id, k, v FROM %s WHERE id >= ? ORDER BY id LIMIT 10000", table); // LIMIT == TAG_CACHE
367
368     if (mysql_stmt_prepare(tags_stmt, query, strlen(query))) {
369         fprintf(stderr,"Cannot setup prepared query for %s: %s\n", table, mysql_error(mysql));
370         exit(1);
371     }
372     assert(mysql_stmt_param_count(tags_stmt) == 1);
373     prepare_meta_result = mysql_stmt_result_metadata(tags_stmt);
374     assert(prepare_meta_result);
375     assert(mysql_num_fields(prepare_meta_result) == 3);
376     mysql_free_result(prepare_meta_result);
377
378     for (i=0; i< TAG_CACHE; i++) {
379         initList(&cache[i].tags);
380         cache[i].id = 0;
381     }
382     cache_off = 0;
383 }
384
385 void tags_exit(void)
386 {
387     int i;
388     mysql_stmt_close(tags_stmt);
389     tags_stmt = NULL;
390     for (i=0; i< TAG_CACHE; i++)
391         resetList(&cache[i].tags);
392 }
393
394 void refill_tags(MYSQL *mysql, const int id)
395 {
396     unsigned long length[3];
397     my_bool       is_null[3];
398     my_bool       error[3];
399     MYSQL_BIND tags_bind_param[1];
400     MYSQL_BIND tags_bind_res[3];
401     char key[256], value[256];
402     int i, row_id, last_id, cache_slot;
403
404     for (i=0; i<TAG_CACHE; i++) {
405         if (!cache[i].id)
406             break;
407         resetList(&cache[i].tags);
408         cache[i].id = 0;
409     }
410
411     memset(tags_bind_param, 0, sizeof(tags_bind_param));
412     tags_bind_param[0].buffer_type= MYSQL_TYPE_LONG;
413     tags_bind_param[0].buffer= (char *)&id;
414     tags_bind_param[0].is_null= 0;
415     tags_bind_param[0].length= 0;
416
417     if (mysql_stmt_bind_param(tags_stmt, tags_bind_param)) {
418         fprintf(stderr, " mysql_stmt_bind_param() failed\n");
419         fprintf(stderr, " %s\n", mysql_stmt_error(tags_stmt));
420         exit(0);
421     }
422
423     if (mysql_stmt_execute(tags_stmt))
424     {
425         fprintf(stderr, " mysql_stmt_execute(), 1 failed\n");
426         fprintf(stderr, " %s\n", mysql_stmt_error(tags_stmt));
427         exit(0);
428     }
429
430     memset(tags_bind_res, 0, sizeof(tags_bind_res));
431
432     tags_bind_res[0].buffer_type= MYSQL_TYPE_LONG;
433     tags_bind_res[0].buffer= (char *)&row_id;
434     tags_bind_res[0].is_null= &is_null[0];
435     tags_bind_res[0].length= &length[0];
436     tags_bind_res[0].error= &error[0];
437
438     tags_bind_res[1].buffer_type= MYSQL_TYPE_VAR_STRING;
439     tags_bind_res[1].buffer_length= sizeof(key);
440     tags_bind_res[1].buffer= key;
441     tags_bind_res[1].is_null= &is_null[0];
442     tags_bind_res[1].length= &length[0];
443     tags_bind_res[1].error= &error[0];
444
445     tags_bind_res[2].buffer_type= MYSQL_TYPE_VAR_STRING;
446     tags_bind_res[2].buffer_length= sizeof(value);
447     tags_bind_res[2].buffer= value;
448     tags_bind_res[2].is_null= &is_null[1];
449     tags_bind_res[2].length= &length[1];
450     tags_bind_res[2].error= &error[1];
451
452
453     if (mysql_stmt_bind_result(tags_stmt, tags_bind_res))
454     {
455         fprintf(stderr, " mysql_stmt_bind_result() failed\n");
456         fprintf(stderr, " %s\n", mysql_stmt_error(tags_stmt));
457         exit(0);
458     }
459
460     if (mysql_stmt_store_result(tags_stmt))
461     {
462         fprintf(stderr, " mysql_stmt_store_result() failed\n");
463         fprintf(stderr, " %s\n", mysql_stmt_error(tags_stmt));
464         exit(0);
465     }
466
467     cache_slot = 0;
468     last_id = 0;
469     while (!mysql_stmt_fetch(tags_stmt)) {
470         if (last_id != row_id) {
471             if (last_id)
472                cache_slot++;
473             cache[cache_slot].id = row_id;
474             last_id = row_id;
475         }
476         addItem(&cache[cache_slot].tags, key, value, 0);
477     }
478     // We need to clean out final slot since it may be truncated, unless
479     // we only got a single slot filled then we hit the end of the table
480     // which we assume _is_ complete
481     if (cache_slot) {
482         resetList(&cache[cache_slot].tags);
483         cache[cache_slot].id = 0;
484     } else {
485         // This algorithm can not cope with > TAG_CACHE on a single way
486         assert(countList(&cache[cache_slot].tags) != TAG_CACHE);
487     }
488 }
489
490 struct keyval *get_generic_tags(MYSQL *mysql, const int id)
491 {
492     while (1) {
493         if (!cache[cache_off].id) {
494             if (cache_off == 1)
495                 return NULL; // No more tags in DB table
496             refill_tags(mysql, id);
497             cache_off = 0;
498         }
499
500         if (cache[cache_off].id > id)
501             return NULL; // No tags for this way ID
502
503         if (cache[cache_off].id == id)
504             return &cache[cache_off++].tags;
505
506         cache_off++;
507         assert (cache_off <= TAG_CACHE);
508     }
509 }
510
511 void nodes(void)
512 {
513     char query[255];
514     MYSQL_RES *res;
515     MYSQL_ROW row;
516     struct keyval *tags;
517
518     MYSQL *mysql = connection_open();
519     MYSQL *tags_mysql = connection_open();
520
521     snprintf(query, sizeof(query), "select id, latitude, longitude, timestamp, user_id from current_nodes where visible = 1 order by id");
522
523     if ((mysql_query(mysql, query)) || !(res= mysql_use_result(mysql))) 
524     {
525         fprintf(stderr, "Cannot query nodes: %s\n", mysql_error(mysql));
526         exit(1);
527     }
528
529     tags_init(tags_mysql, "current_node_tags");
530
531     while ((row= mysql_fetch_row(res))) {
532         int id;
533         long double latitude,longitude;
534
535         assert(mysql_num_fields(res) == 5);
536
537         id = strtol(row[0], NULL, 10);
538         latitude  = strtol(row[1], NULL, 10) / 10000000.0;
539         longitude = strtol(row[2], NULL, 10) / 10000000.0;
540         tags = get_generic_tags(tags_mysql, id);
541         osm_node(id, latitude, longitude, tags, reformDate(row[3]), lookup_user(row[4]));
542     }
543
544     mysql_free_result(res);
545     tags_exit();
546     connection_close(tags_mysql);
547     connection_close(mysql);
548 }
549
550 void ways(void)
551 {
552     char ways_query[255], nodes_query[255];
553     MYSQL_RES *ways_res, *nodes_res;
554     MYSQL_ROW ways_row, nodes_row;
555     struct keyval *tags, nodes;
556     MYSQL *ways_mysql = connection_open();
557     MYSQL *nodes_mysql = connection_open();
558     MYSQL *tags_mysql = connection_open();
559
560     initList(&nodes);
561
562     snprintf(ways_query, sizeof(ways_query),
563              "select id, timestamp, user_id from current_ways where visible = 1 order by id");
564     snprintf(nodes_query, sizeof(nodes_query),
565              "select id, node_id from current_way_nodes ORDER BY id, sequence_id");
566
567     if ((mysql_query(ways_mysql, ways_query)) || !(ways_res= mysql_use_result(ways_mysql)))
568     {
569         fprintf(stderr,"Cannot query current_ways: %s\n", mysql_error(ways_mysql));
570         exit(1);
571     }
572     if ((mysql_query(nodes_mysql, nodes_query)) || !(nodes_res= mysql_use_result(nodes_mysql)))
573     {
574         fprintf(stderr,"Cannot query current_way_nodes: %s\n", mysql_error(nodes_mysql));
575         exit(1);
576     }
577
578     tags_init(tags_mysql, "current_way_tags");
579
580     ways_row = mysql_fetch_row(ways_res);
581     nodes_row = mysql_fetch_row(nodes_res);
582
583     while (ways_row) {
584         int way_id = strtol(ways_row[0], NULL, 10);
585         // Terminating way_nd_id is necessary to ensure final way is generated.
586         int way_nd_id = nodes_row ? strtol(nodes_row[0], NULL, 10): INT_MAX;
587
588         if (way_id < way_nd_id) {
589             // no more nodes in this way
590             tags = get_generic_tags(tags_mysql, way_id);
591             osm_way(way_id, &nodes, tags, reformDate(ways_row[1]), lookup_user(ways_row[2]));
592             // fetch new way
593             ways_row= mysql_fetch_row(ways_res);
594             assert(mysql_num_fields(ways_res) == 4);
595         } else if (way_id > way_nd_id) {
596             // we have entries in current_way_nodes for a missing way, discard!
597             // fetch next way_seg
598             nodes_row = mysql_fetch_row(nodes_res);
599             assert(mysql_num_fields(nodes_res) == 2);
600         } else {
601             // in step, add current node and fetch the next one
602             addItem(&nodes, "", nodes_row[1], 0);
603             nodes_row = mysql_fetch_row(nodes_res);
604             assert(mysql_num_fields(nodes_res) == 2);
605         }
606     }
607
608     mysql_free_result(ways_res);
609     mysql_free_result(nodes_res);
610     tags_exit();
611     connection_close(tags_mysql);
612     connection_close(ways_mysql);
613     connection_close(nodes_mysql);
614 }
615
616 void relations(void)
617 {
618     char relations_query[255], members_query[255];
619     MYSQL_RES *relations_res, *members_res;
620     MYSQL_ROW relations_row, members_row;
621     struct keyval *tags, members, roles;
622     MYSQL *relations_mysql = connection_open();
623     MYSQL *members_mysql = connection_open();
624     MYSQL *tags_mysql = connection_open();
625
626     initList(&members);
627     initList(&roles);
628
629     snprintf(relations_query, sizeof(relations_query),
630              "select id, timestamp, user_id from current_relations where visible = 1 ORDER BY id");
631     snprintf(members_query, sizeof(members_query),
632              "select id, member_id, member_type, member_role from current_relation_members ORDER BY id");
633
634     if ((mysql_query(relations_mysql, relations_query)) || !(relations_res= mysql_use_result(relations_mysql)))
635     {
636         fprintf(stderr,"Cannot query current_relations: %s\n", mysql_error(relations_mysql));
637         exit(1);
638     }
639     if ((mysql_query(members_mysql, members_query)) || !(members_res= mysql_use_result(members_mysql)))
640     {
641         fprintf(stderr,"Cannot query current_relation_members: %s\n", mysql_error(members_mysql));
642         exit(1);
643     }
644
645     tags_init(tags_mysql, "current_relation_tags");
646
647     relations_row = mysql_fetch_row(relations_res);
648     members_row = mysql_fetch_row(members_res);
649
650     while (relations_row) {
651         int relation_id      = strtol(relations_row[0], NULL, 10);
652         // Terminating relation_memb_id is necessary to ensure final way is generated.
653         int relation_memb_id = members_row ? strtol(members_row[0], NULL, 10): INT_MAX;
654
655         if (relation_id < relation_memb_id) {
656             // no more members in this way
657             tags = get_generic_tags(tags_mysql, relation_id);
658             osm_relation(relation_id, &members, &roles, tags, reformDate(relations_row[1]), lookup_user(relations_row[2]));
659             // fetch new way
660             relations_row= mysql_fetch_row(relations_res);
661             assert(mysql_num_fields(relations_res) == 4);
662         } else if (relation_id > relation_memb_id) {
663             // we have entries in current_way_members for a missing way, discard!
664             // fetch next way_seg
665             members_row = mysql_fetch_row(members_res);
666             assert(mysql_num_fields(members_res) == 4);
667         } else {
668             // in step, add current member and fetch the next one
669             const char *m_id   = members_row[1];
670             const char *m_type = members_row[2];
671             const char *m_role = members_row[3];
672
673             addItem(&members, m_type, m_id, 0);
674             addItem(&roles, "", m_role, 0);
675             members_row = mysql_fetch_row(members_res);
676             assert(mysql_num_fields(members_res) == 4);
677         }
678     }
679
680     mysql_free_result(relations_res);
681     mysql_free_result(members_res);
682     tags_exit();
683     connection_close(relations_mysql);
684     connection_close(members_mysql);
685     connection_close(tags_mysql);
686 }
687
688 unsigned long int max_userid(void)
689 {
690     const char *sql = "SELECT MAX(id) FROM users";
691     MYSQL_RES *res;
692     MYSQL_ROW row;
693     unsigned long int max = 0;
694     MYSQL *mysql = connection_open();
695
696     if ((mysql_query(mysql, sql)) || !(res= mysql_use_result(mysql))) {
697         fprintf(stderr,"Cannot query users: %s\n", mysql_error(mysql));
698         exit(1);
699     }
700
701     while ((row=mysql_fetch_row(res))) {
702         max = strtol(row[0], NULL, 10);
703     }
704
705     mysql_free_result(res);
706     //printf("Maximum user id = %lu\n", max);
707     connection_close(mysql);
708     return max;
709 }
710
711
712 void fetch_users(void)
713 {
714     char sql[256];
715     MYSQL_RES *res;
716     MYSQL_ROW row;
717     MYSQL *mysql = connection_open();
718
719     sprintf(sql, "SELECT id,display_name from users where id <= %lu and data_public = 1", max_uid);
720
721     if ((mysql_query(mysql, sql)) || !(res= mysql_use_result(mysql))) {
722         fprintf(stderr,"Cannot query users: %s\n", mysql_error(mysql));
723         exit(1);
724     }
725
726     while ((row=mysql_fetch_row(res))) {
727         unsigned long int id;
728         const char *display_name;
729         char tmp[1024];
730         assert(mysql_num_fields(res) == 2);
731
732         id = strtoul(row[0], NULL, 10);
733         display_name = xmlescape(row[1]);
734         assert(id <= max_uid);
735         //user_list[id] = display_name;
736         //printf("User: %lu %s\n", id, display_name);
737         snprintf(tmp, sizeof(tmp), " user=\"%s\" uid=\"%lu\"", display_name, id);
738         user_list[id] = strdup(tmp);
739         assert(user_list[id]);
740     }
741
742     mysql_free_result(res); 
743     connection_close(mysql);
744 }
745
746
747 int main(int argc, char **argv)
748 {
749 #ifdef USE_ICONV
750     MYSQL *mysql = NULL;
751     MYSQL_ROW row;
752     MYSQL_RES *res;
753 #endif
754     int i;
755     int want_nodes, want_ways, want_relations;
756
757     // Database timestamps use UK localtime
758     setenv("TZ", ":GB", 1);
759
760     if (argc == 1)
761         want_nodes = want_ways = want_relations = 1;
762     else {
763         want_nodes = want_ways = want_relations = 0;
764         for(i=1; i<argc; i++) {
765             if (!strcmp(argv[i], "--nodes"))
766                 want_nodes = 1;
767             else if (!strcmp(argv[i], "--ways"))
768                 want_ways = 1;
769             else if (!strcmp(argv[i], "--relations"))
770                 want_relations = 1;
771             else {
772                 fprintf(stderr, "Usage error:\n");
773                 fprintf(stderr, "\t%s [--nodes] [--ways] [--relations]\n\n", argv[0]);
774                 fprintf(stderr, "Writes OSM planet dump to STDOUT. If no flags are specified then all data is output.\n");
775                 fprintf(stderr, "If one or more flags are set then only the requested data is dumped.\n");
776                 exit(2);
777             }
778         }
779     }
780
781 #ifdef USE_ICONV
782     mysql = connection_open();
783     if (mysql_query(mysql, "SHOW VARIABLES like 'character_set_results'") || !(res= mysql_use_result(mysql))) {
784             fprintf(stderr,"FAILED show variables: %s\n", mysql_error(mysql));
785             exit(1);
786     }
787
788     if ((row= mysql_fetch_row(res))) {
789         fprintf(stderr, "Setting up iconv for %s = %s\n", row[0], row[1]);
790         cd = iconv_open("UTF8", row[1]);
791         if (cd == (iconv_t)-1) {
792             perror("iconv_open");
793             exit(1);
794         }
795         row = mysql_fetch_row(res);
796         assert(!row);
797     } else {
798         fprintf(stderr, "Failed to fetch DB charset, assuming UTF8\n");
799     }
800     connection_close(mysql);
801     mysql = NULL;
802 #endif
803
804     printf("<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n");
805     printf("<osm version=\"0.5\" generator=\"OpenStreetMap planet.c\">\n");
806     printf("  <bound box=\"-90,-180,90,180\" origin=\"http://www.openstreetmap.org/api/0.6\" />\n");
807
808     max_uid = max_userid();
809     user_list = calloc(max_uid + 1, sizeof(char *));
810     if (!user_list) {
811         fprintf(stderr, "Malloc of user_list failed for %lu users\n", max_uid);
812         exit(1);
813     }
814
815     fetch_users();
816
817     if (want_nodes)
818         nodes();
819
820     if (want_ways)
821         ways();
822
823     if (want_relations)
824         relations();
825
826     printf("</osm>\n");
827
828 #ifdef USE_ICONV
829     iconv_close(cd);
830 #endif
831
832     for(i=0; i<=max_uid; i++)
833         free(user_list[i]);
834     free(user_list);
835
836     return 0;
837 }