* Add more keys from the optional list that we don't want to ignor
[rails.git] / script / locale / merge-from-translatewiki
1 #!/usr/bin/env perl
2 use feature ':5.10';
3 use strict;
4 use warnings;
5 use File::Slurp qw(slurp);
6 use YAML::Syck qw(Dump Load LoadFile DumpFile);
7 BEGIN {
8     $YAML::Syck::Headless = 1;
9     $YAML::Syck::SortKeys = 1;
10 }
11 use WWW::Mechanize;
12 use HTML::TableParser::Grid;
13 use Pod::Usage ();
14 use Getopt::Long ();
15 use Data::Dump 'dump';
16 use File::Spec::Functions qw(catfile);
17 use Storable;
18 use autodie;
19
20 =head1 NAME
21
22 merge-from-translatewiki - Get new translations from L<http://translatewiki.net> and selectively merge them with ours
23
24 =head1 SYNOPSIS
25
26     merge-from-translatewiki --locales-dir=config/locales
27
28     # Diff the existing files:
29     config/locales$ for i in $(ls *yml | grep -v en.yml); do perl ../../script/locale/diff --dump-flat $i > $i.0 ;done
30
31     # Merge and find out what changed:
32     rails_port$ for i in $(svn st config/locales/ | egrep '^M|\\?' | awk '{print $2}' | grep 'yml$'); do rm -v $i; done && svn up config/locales && perl script/locale/merge-from-translatewiki --locales-dir config/locales && svn st config/locales
33  
34     # Diff:
35     config/locales$ for i in $(ls *yml | grep -v en.yml); do perl ../../script/locale/diff --dump-flat $i > $i.1 ;done && for i in $(ls *yml | grep -v en.yml); do diff -ru $i.*; done
36
37 =head1 DESCRIPTION
38
39 Translatewiki's export process L<is
40 broken|http://trac.openstreetmap.org/ticket/2305>. This script imports
41 new messages from it while tiptoeing around known bugs.
42
43 =head1 OPTIONS
44
45 =over
46
47 =item -h, --help
48
49 Print this help message.
50
51 =item --locales-dir
52
53 The locales dir we'll merge stuff into. E.g. C<config/locales>.
54
55 =back
56
57 =head1 AUTHOR
58
59 E<AElig>var ArnfjE<ouml>rE<eth> Bjarmason <avarab@gmail.com>
60
61 =cut
62
63 # Get the command-line options
64 Getopt::Long::Parser->new(
65     config => [ qw< bundling no_ignore_case no_require_order pass_through > ],
66 )->getoptions(
67     'h|help' => \my $help,
68     'locales-dir=s' => \my $locales_dir,
69 ) or help();
70
71 # On --help
72 help() if $help;
73
74 help() unless $locales_dir;
75
76 ###
77 ### Main
78 ###
79
80 ### Get Translatewiki data
81 my %translatewiki_languages = translatewiki_languages();
82
83 # Don't process English from Translatewiki
84 delete $translatewiki_languages{en};
85
86 #say Dump \%translatewiki_languages;
87
88 my @translatewiki_languages_codes = keys %translatewiki_languages;
89 my %translatewiki_translations = get_translatewiki_translations(@translatewiki_languages_codes);
90
91 #say Dump \%translatewiki_translations;
92
93 ### Get our existing data
94 my %my_translations;
95 my @my_yaml_files = glob catfile($locales_dir, '*.yml');
96 for my $my_yaml_file (@my_yaml_files) {
97     my $basename = basename($my_yaml_file);
98     my $tw_lang = lc $basename;
99
100     say STDERR "Loading my translation $tw_lang ($my_yaml_file)";
101     $my_translations{$tw_lang} = load_and_flatten_yaml(scalar slurp($my_yaml_file));
102 }
103
104 say "loaded my translations";
105
106 ## Write out merged data
107 for my $translatewiki_lang (sort @translatewiki_languages_codes) {
108     my $rails_lang = $translatewiki_lang; $rails_lang =~ s/(?<=-)(\w+)/\U$1\E/;
109     my $out_file = catfile($locales_dir, $rails_lang . '.yml');
110
111     unless (-f $out_file) {
112         # No translation like this exists
113         say STDERR "$rails_lang has no existing translation. Importing as-is from Translatewiki to $out_file";
114         my $expanded = expand_hash($translatewiki_translations{$translatewiki_lang});
115         my $out = +{ $rails_lang => $expanded };
116         spit_out($out_file, $out);
117     } elsif (ref $my_translations{$translatewiki_lang} eq 'HASH') {
118         say STDERR "$rails_lang has existing translations. Merging";
119
120         # Get the data
121         my %tw = %{ $translatewiki_translations{$translatewiki_lang} };
122         my %me = %{ $my_translations{$translatewiki_lang} };
123         my %en = %{ $my_translations{en} };
124         # Use %tw to start with
125         my %new = %tw;
126
127         ### Merge stuff
128
129         ## These keys shouldn't be removed but are due to
130         ## Translatewiki fail (they were missing in the original
131         ## import)
132         my @url_keys = qw(
133                              browse.relation_member.entry
134                              changeset.changeset.id
135                              geocoder.search_osm_namefinder.suffix_suburb
136                              html.dir
137                              layouts.intro_3_bytemark
138                              layouts.intro_3_ucl
139                              layouts.project_name.h1
140                              layouts.project_name.title
141                              printable_name.with_version
142                              site.edit.anon_edits
143                              layouts.help_wiki_url
144                              layouts.shop_url
145                              notifier.gpx_notification.failure.import_failures_url
146                              notifier.signup_confirm_plain.the_wiki_url
147                              notifier.signup_confirm_plain.wiki_signup_url
148                              trace.edit.visibility_help_url
149                              trace.trace_form.help_url
150                              trace.trace_form.visibility_help_url
151                      );
152
153         for my $key (@url_keys) {
154             if ( exists $me{$key} and not exists $new{$key} ) {
155                 $new{$key} = $me{$key} if $me{$key} ne $en{$key};
156             }
157         }
158
159         ## When foo exists in this file but only foo.one, foo,other
160         ## etc in English or the original file we don't want to throw away what we have
161         my @plural_keys = qw( zero one many few other two );
162
163         while (my ($me_k, $me_v) = each %me) {
164             if (not exists $tw{ $me_k } and 
165                 not exists $en{ $me_k } and
166                 (
167                     exists $en{ $me_k . '.zero' } or
168                     exists $en{ $me_k . '.one' } or
169                     exists $en{ $me_k . '.many' } or
170                     exists $en{ $me_k . '.few' } or
171                     exists $en{ $me_k . '.other' } or
172                     exists $en{ $me_k . '.two' })) {
173                 say STDERR "Bringing back nuked plural form '$me_k' Setting it to '$me{ $me_k }'";
174                 $new{ $me_k } = $me{ $me_k };
175             }
176         }
177
178         # Both arrays and strings are supported in the site key. Avoid removing e.g.:
179         #   -site.key.table.entry.school: 學校;大學
180         # Just because en.yml has site.key.table.entry.school.0 and site.key.table.entry.school.1
181         while (my ($me_k, $me_v) = each %me) {
182             next unless $me_k =~ /^site\.key\.table\.entry/;
183             next if $me_k =~ /\.\d+$/;
184
185             if (ref $en{ $me_k } eq 'ARRAY' and not ref $me{ $me_k }) {
186                 $new{ $me_k } = $me{ $me_k };
187             }
188         }
189
190         my $expanded = expand_hash( \%new );
191         my $out = +{ $rails_lang => $expanded };
192         spit_out($out_file, $out);
193     } else {
194         die "Internal error on $translatewiki_lang";
195     }
196 }
197
198 sub spit_out
199 {
200     my ($file, $data) = @_;
201     my $yaml_out = Dump $data;
202     
203     open my $fh, ">", $file;
204     say $fh "# Imported at " . (scalar localtime) . " from Translatewiki.net";
205     print $fh $yaml_out;
206     close $fh;
207 }
208
209 #
210 # YAML stuff
211 #
212
213 sub mark_utf8
214 {
215     my ($hash) = @_;
216
217     # Mark as UTF-8
218     map { if (ref $_ eq 'ARRAY') { map { utf8::decode($_) } @$_ } else {  utf8::decode($_) } } values %$hash;
219 }
220
221 sub iterate
222 {
223     my ($hash, @path) = @_;
224     my @ret;
225         
226     while (my ($k, $v) = each %$hash)
227     {
228         if (ref $v eq 'HASH')
229         {
230              push @ret => iterate($v, @path, $k);
231         }
232         else
233         {
234             push @ret => join(".",@path, $k), $v;
235         }
236     }
237
238     return @ret;
239 }
240
241 sub expand_hash
242 {
243     my ($flat_hash) = @_;
244     my %new_hash;
245     while (my ($k, $v) = each %$flat_hash) {
246         #say "Inserting $k=$v";
247         insert_string_deep(\%new_hash, $k, $v);
248     }
249
250     \%new_hash;
251 }
252
253 # Fails under strict in certain cases:
254 ## Inserting browse.start_rjs.object_list.history.type.way=Vía [[id]]
255 ## Inserting activerecord.models.relation_tag=Etiqueta de la relación
256 ## Inserting browse.changeset_details.has_nodes.one=Tiene el siguiente {{count}} nodo:
257 ## Can't use string ("Tiene {{count}} nodos:") as a HASH ref while "strict refs" in use at script/locale/merge-from-translatewiki line 234.
258 # Line 234 = my $p = \$h; $p = \$$p->{$_} for split /\./, $ks;
259
260 # sub insert_string_deep_X {
261 #     my ($h, $ks, $v) = @_;
262 #     my $p = \$h; $p = \$$p->{$_} for split /\./, $ks;
263 #     $$p = $v;
264 # }
265
266 sub insert_string_deep
267 {
268     my ($hash, $key, $value) = @_;
269
270     my @key = split /\./, $key;
271     my $h = $hash;
272
273     my $i = 0;
274     for my $k (@key) {
275         $i ++;
276         if ($i == @key) {
277             $h->{$k} = $value;
278         } else {
279             if (ref $h->{$k}) {
280                 $h = $h->{$k};
281             } else {
282                 $h = $h->{$k} = {};
283             }
284         }
285     }
286 }
287
288 #
289 # Get language from Translatewiki
290 #
291
292 sub get_translatewiki_translations
293 {
294     my @languages = @_;
295
296     my $cache_file = "/tmp/merge-from-translatewiki.storable";
297     if (-f $cache_file) {
298         my $cache = retrieve($cache_file);
299         return %$cache;
300     }
301
302     my %translatewiki_languages;
303     say "All languages are: @languages";
304     for my $lang (@languages) {
305         say STDERR "Getting language $lang from Translatewiki";
306         my $yaml = get_language_from_translatewiki($lang);
307
308         my $flat_data = load_and_flatten_yaml($yaml);
309
310         $translatewiki_languages{$lang} = $flat_data;
311     }
312
313     store \%translatewiki_languages, $cache_file;
314
315     return %translatewiki_languages;
316 }
317
318 sub get_language_from_translatewiki
319 {
320     my ($lang) = @_;
321     my $mech = WWW::Mechanize->new;
322
323     $mech->get("http://translatewiki.net/w/i.php?title=Special%3ATranslate&task=export-to-file&group=out-osm&language=$lang");
324
325     die "Couldn't get lang $lang lang from Translatewiki" unless $mech->success;
326
327     return $mech->content;
328 }
329
330 #
331 # from language list
332 #
333
334 sub translatewiki_languages
335 {
336     my $mech = WWW::Mechanize->new;
337
338     $mech->get('http://translatewiki.net/wiki/Translating:OpenStreetMap/stats/trunk');
339
340     die "Couldn't get translatewiki table" unless $mech->success;
341
342     my $content = $mech->content;
343     my ($sortable) = $content =~ m[(<table class="sortable.*</table>)]s;
344
345     my @table = parse_language_table($sortable);
346
347     # Just get the codes
348     map { $_->{code} => $_->{language} } @table;
349 }
350
351 sub parse_language_table
352 {
353     my ($table) = @_;
354
355     my $parser = HTML::TableParser::Grid->new($table);
356     my @rows;
357     for my $n (0 .. $parser->num_rows - 1) {
358         my %row;
359         @row{qw(code language done fuzzy)} = $parser->row($n);
360         mark_utf8(\%row);
361
362         push @rows => \%row;
363     }
364
365     @rows;
366 }
367
368 #
369 # Misc
370 #
371
372 sub basename
373 {
374     my $name = shift;
375     $name =~ s[\..*?$][];
376     $name =~ s[.*/][];
377     $name;
378 }
379
380 sub load_and_flatten_yaml
381 {
382     my ($yaml) = @_;
383
384     my $data = Load($yaml);
385
386     # Remove the root $lang => key
387     my @keys = keys %$data;
388     die "YAML data had more than 1 root key" if @keys != 1;
389     $data = $data->{$keys[0]};
390
391     # Flatten it
392     my $flat_data = { iterate($data) };
393
394     mark_utf8($flat_data);
395
396     $flat_data;
397 }
398
399 #
400 # Help
401 #
402
403 sub help
404 {
405     my %arg = @_;
406
407     Pod::Usage::pod2usage(
408         -verbose => $arg{ verbose },
409         -exitval => $arg{ exitval } || 0,
410     );
411 }