Report on download progress
[rails.git] / script / locale / merge-from-translatewiki
1 #!/usr/bin/env perl
2 use feature ':5.10';
3 use strict;
4 use warnings;
5 use File::Slurp qw(slurp);
6 use YAML::Syck qw(Dump Load LoadFile DumpFile);
7 BEGIN {
8     $YAML::Syck::Headless = 1;
9     $YAML::Syck::SortKeys = 1;
10 }
11 use WWW::Mechanize;
12 use HTML::TableParser::Grid;
13 use Pod::Usage ();
14 use Getopt::Long ();
15 use Data::Dump 'dump';
16 use File::Spec::Functions qw(catfile);
17 use Storable;
18 use autodie;
19
20 =head1 NAME
21
22 merge-from-translatewiki - Get new translations from L<http://translatewiki.net> and selectively merge them with ours
23
24 =head1 SYNOPSIS
25
26     # Run this normally, hopefully...
27     merge-from-translatewiki --locales-dir=config/locales
28
29     # Diff the existing files:
30     config/locales$ for i in $(ls *yml | grep -v en.yml); do perl ../../script/locale/diff --dump-flat $i > $i.0 ;done
31
32     # Merge and find out what changed:
33     rails_port$ for i in $(svn st config/locales/ | egrep '^M|\\?' | awk '{print $2}' | grep 'yml$'); do rm -v $i; done && svn up config/locales && perl script/locale/merge-from-translatewiki --locales-dir config/locales && svn st config/locales
34  
35     # Diff:
36     config/locales$ for i in $(ls *yml | grep -v en.yml); do perl ../../script/locale/diff --dump-flat $i > $i.1 ;done && for i in $(ls *yml | grep -v en.yml); do diff -ru $i.*; done
37
38 =head1 DESCRIPTION
39
40 Translatewiki's export process L<is
41 broken|http://trac.openstreetmap.org/ticket/2305>. This script imports
42 new messages from it while tiptoeing around known bugs.
43
44 =head1 OPTIONS
45
46 =over
47
48 =item -h, --help
49
50 Print this help message.
51
52 =item --locales-dir
53
54 The locales dir we'll merge stuff into. E.g. C<config/locales>.
55
56 =item --only-new
57
58 Only import translations that don't exists for us yet.
59
60 =back
61
62 =head1 AUTHOR
63
64 E<AElig>var ArnfjE<ouml>rE<eth> Bjarmason <avarab@gmail.com>
65
66 =cut
67
68 # Get the command-line options
69 Getopt::Long::Parser->new(
70     config => [ qw< bundling no_ignore_case no_require_order pass_through > ],
71 )->getoptions(
72     'h|help' => \my $help,
73     'locales-dir=s' => \my $locales_dir,
74     'only-new' => \my $only_new,
75 ) or help();
76
77 # On --help
78 help() if $help;
79
80 help() unless $locales_dir;
81
82 ###
83 ### Main
84 ###
85
86 ### Get Translatewiki data
87 my %translatewiki_languages = translatewiki_languages();
88
89 # Don't process English from Translatewiki
90 delete $translatewiki_languages{en};
91
92 #say Dump \%translatewiki_languages;
93
94 my @translatewiki_languages_codes = keys %translatewiki_languages;
95 my %translatewiki_translations = get_translatewiki_translations(@translatewiki_languages_codes);
96
97 #say Dump \%translatewiki_translations;
98
99 ### Get our existing data
100 my %my_translations;
101 my @my_yaml_files = glob catfile($locales_dir, '*.yml');
102 for my $my_yaml_file (@my_yaml_files) {
103     my $basename = basename($my_yaml_file);
104     my $tw_lang = lc $basename;
105
106     say STDERR "Loading my translation $tw_lang ($my_yaml_file)";
107     $my_translations{$tw_lang} = load_and_flatten_yaml(scalar slurp($my_yaml_file));
108 }
109
110 say "loaded my translations";
111
112 ## Write out merged data
113 for my $translatewiki_lang (sort @translatewiki_languages_codes) {
114     my $rails_lang = $translatewiki_lang; $rails_lang =~ s/(?<=-)(\w+)/\U$1\E/;
115     my $out_file = catfile($locales_dir, $rails_lang . '.yml');
116
117     unless (-f $out_file) {
118         # No translation like this exists
119         say STDERR "$rails_lang has no existing translation. Importing as-is from Translatewiki to $out_file";
120         my $expanded = expand_hash($translatewiki_translations{$translatewiki_lang});
121         my $out = +{ $rails_lang => $expanded };
122         spit_out($out_file, $out);
123     } elsif (ref $my_translations{$translatewiki_lang} eq 'HASH' and not $only_new) {
124         say STDERR "$rails_lang has existing translations. Merging the old translation with the new Translatewiki one";
125
126         # Get the data
127         my %tw = %{ $translatewiki_translations{$translatewiki_lang} };
128         my %me = %{ $my_translations{$translatewiki_lang} };
129         my %en = %{ $my_translations{en} };
130         # Use %tw to start with
131         my %new = %tw;
132
133         ### Merge stuff
134
135         ## These keys shouldn't be removed but are due to
136         ## Translatewiki fail (they were missing in the original
137         ## import)
138         my @url_keys = qw(
139                              browse.relation_member.entry
140                              changeset.changeset.id
141                              geocoder.search_osm_namefinder.suffix_suburb
142                              html.dir
143                              layouts.intro_3_bytemark
144                              layouts.intro_3_ucl
145                              layouts.project_name.h1
146                              layouts.project_name.title
147                              printable_name.with_version
148                              site.edit.anon_edits
149                              layouts.help_wiki_url
150                              layouts.shop_url
151                              notifier.gpx_notification.failure.import_failures_url
152                              notifier.signup_confirm_plain.the_wiki_url
153                              notifier.signup_confirm_plain.wiki_signup_url
154                              trace.edit.visibility_help_url
155                              trace.trace_form.help_url
156                              trace.trace_form.visibility_help_url
157                      );
158
159         for my $key (@url_keys) {
160             if ( exists $me{$key} and not exists $new{$key} ) {
161                 $new{$key} = $me{$key} if $me{$key} ne $en{$key};
162             }
163         }
164
165         ## When foo exists in this file but only foo.one, foo,other
166         ## etc in English or the original file we don't want to throw away what we have
167         my @plural_keys = qw( zero one many few other two );
168
169         while (my ($me_k, $me_v) = each %me) {
170             if (not exists $tw{ $me_k } and 
171                 not exists $en{ $me_k } and
172                 (
173                     exists $en{ $me_k . '.zero' } or
174                     exists $en{ $me_k . '.one' } or
175                     exists $en{ $me_k . '.many' } or
176                     exists $en{ $me_k . '.few' } or
177                     exists $en{ $me_k . '.other' } or
178                     exists $en{ $me_k . '.two' })) {
179                 #say STDERR "Bringing back nuked plural form '$me_k' Setting it to '$me{ $me_k }'";
180                 $new{ $me_k } = $me{ $me_k };
181             }
182         }
183
184         # Both arrays and strings are supported in the site key. Avoid removing e.g.:
185         #   -site.key.table.entry.school: 學校;大學
186         # Just because en.yml has site.key.table.entry.school.0 and site.key.table.entry.school.1
187         while (my ($me_k, $me_v) = each %me) {
188             next unless $me_k =~ /^site\.key\.table\.entry/;
189             next if $me_k =~ /\.\d+$/;
190
191             if (ref $en{ $me_k } eq 'ARRAY' and not ref $me{ $me_k }) {
192                 $new{ $me_k } = $me{ $me_k };
193             }
194         }
195
196         my $expanded = expand_hash( \%new );
197         my $out = +{ $rails_lang => $expanded };
198         spit_out($out_file, $out);
199     } elsif (not $only_new) {
200         die "Internal error on $translatewiki_lang";
201     }
202 }
203
204 sub spit_out
205 {
206     my ($file, $data) = @_;
207     my $yaml_out = Dump $data;
208     
209     open my $fh, ">", $file;
210     say $fh "# Imported at " . (scalar localtime) . " from Translatewiki.net";
211     print $fh $yaml_out;
212     close $fh;
213 }
214
215 #
216 # YAML stuff
217 #
218
219 sub mark_utf8
220 {
221     my ($hash) = @_;
222
223     # Mark as UTF-8
224     map { if (ref $_ eq 'ARRAY') { map { utf8::decode($_) } @$_ } else {  utf8::decode($_) } } values %$hash;
225 }
226
227 sub iterate
228 {
229     my ($hash, @path) = @_;
230     my @ret;
231         
232     while (my ($k, $v) = each %$hash)
233     {
234         if (ref $v eq 'HASH')
235         {
236              push @ret => iterate($v, @path, $k);
237         }
238         else
239         {
240             push @ret => join(".",@path, $k), $v;
241         }
242     }
243
244     return @ret;
245 }
246
247 sub expand_hash
248 {
249     my ($flat_hash) = @_;
250     my %new_hash;
251     while (my ($k, $v) = each %$flat_hash) {
252         #say "Inserting $k=$v";
253         insert_string_deep(\%new_hash, $k, $v);
254     }
255
256     \%new_hash;
257 }
258
259 # Fails under strict in certain cases:
260 ## Inserting browse.start_rjs.object_list.history.type.way=Vía [[id]]
261 ## Inserting activerecord.models.relation_tag=Etiqueta de la relación
262 ## Inserting browse.changeset_details.has_nodes.one=Tiene el siguiente {{count}} nodo:
263 ## Can't use string ("Tiene {{count}} nodos:") as a HASH ref while "strict refs" in use at script/locale/merge-from-translatewiki line 234.
264 # Line 234 = my $p = \$h; $p = \$$p->{$_} for split /\./, $ks;
265
266 # sub insert_string_deep_X {
267 #     my ($h, $ks, $v) = @_;
268 #     my $p = \$h; $p = \$$p->{$_} for split /\./, $ks;
269 #     $$p = $v;
270 # }
271
272 sub insert_string_deep
273 {
274     my ($hash, $key, $value) = @_;
275
276     my @key = split /\./, $key;
277     my $h = $hash;
278
279     my $i = 0;
280     for my $k (@key) {
281         $i ++;
282         if ($i == @key) {
283             $h->{$k} = $value;
284         } else {
285             if (ref $h->{$k}) {
286                 $h = $h->{$k};
287             } else {
288                 $h = $h->{$k} = {};
289             }
290         }
291     }
292 }
293
294 #
295 # Get language from Translatewiki
296 #
297
298 sub get_translatewiki_translations
299 {
300     my @languages = @_;
301
302     my $cache_file = "/tmp/merge-from-translatewiki.storable";
303     if (-f $cache_file) {
304         my $cache = retrieve($cache_file);
305         return %$cache;
306     }
307
308     my %translatewiki_languages;
309     my $all_count = scalar @languages;
310     say "Translatewiki has $all_count languages I'm about to get";
311     my $count = 0;
312     for my $lang (@languages) {
313         $count ++;
314         say STDERR "Getting language $count/$all_count ($lang) from Translatewiki";
315         my $yaml = get_language_from_translatewiki($lang);
316
317         my $flat_data = load_and_flatten_yaml($yaml);
318
319         $translatewiki_languages{$lang} = $flat_data;
320     }
321
322     store \%translatewiki_languages, $cache_file;
323
324     return %translatewiki_languages;
325 }
326
327 sub get_language_from_translatewiki
328 {
329     my ($lang) = @_;
330     my $mech = WWW::Mechanize->new;
331
332     $mech->get("http://translatewiki.net/w/i.php?title=Special%3ATranslate&task=export-to-file&group=out-osm&language=$lang");
333
334     die "Couldn't get lang $lang lang from Translatewiki" unless $mech->success;
335
336     return $mech->content;
337 }
338
339 #
340 # from language list
341 #
342
343 sub translatewiki_languages
344 {
345     my $mech = WWW::Mechanize->new;
346
347     $mech->get('http://translatewiki.net/wiki/Translating:OpenStreetMap/stats/trunk');
348
349     die "Couldn't get translatewiki table" unless $mech->success;
350
351     my $content = $mech->content;
352     my ($sortable) = $content =~ m[(<table class="sortable.*</table>)]s;
353
354     my @table = parse_language_table($sortable);
355
356     # Just get the codes
357     map { $_->{code} => $_->{language} } @table;
358 }
359
360 sub parse_language_table
361 {
362     my ($table) = @_;
363
364     my $parser = HTML::TableParser::Grid->new($table);
365     my @rows;
366     for my $n (0 .. $parser->num_rows - 1) {
367         my %row;
368         @row{qw(code language done fuzzy)} = $parser->row($n);
369         mark_utf8(\%row);
370
371         push @rows => \%row;
372     }
373
374     @rows;
375 }
376
377 #
378 # Misc
379 #
380
381 sub basename
382 {
383     my $name = shift;
384     $name =~ s[\..*?$][];
385     $name =~ s[.*/][];
386     $name;
387 }
388
389 sub load_and_flatten_yaml
390 {
391     my ($yaml) = @_;
392
393     my $data = Load($yaml);
394
395     # Remove the root $lang => key
396     my @keys = keys %$data;
397     die "YAML data had more than 1 root key" if @keys != 1;
398     $data = $data->{$keys[0]};
399
400     # Flatten it
401     my $flat_data = { iterate($data) };
402
403     mark_utf8($flat_data);
404
405     $flat_data;
406 }
407
408 #
409 # Help
410 #
411
412 sub help
413 {
414     my %arg = @_;
415
416     Pod::Usage::pod2usage(
417         -verbose => $arg{ verbose },
418         -exitval => $arg{ exitval } || 0,
419     );
420 }