Bug 17600: Standardize our EXPORT_OK
[srvgit] / misc / migration_tools / bulkmarcimport.pl
index 682af89..b5ed5f0 100755 (executable)
@@ -1,41 +1,59 @@
 #!/usr/bin/perl
 # Import an iso2709 file into Koha 3
 
-use strict;
-use warnings;
+use Modern::Perl;
 #use diagnostics;
 BEGIN {
     # find Koha's Perl modules
     # test carefully before changing this
-    use FindBin;
+    use FindBin ();
     eval { require "$FindBin::Bin/../kohalib.pl" };
 }
 
 # Koha modules used
 use MARC::File::USMARC;
 use MARC::File::XML;
-use MARC::Record;
 use MARC::Batch;
-use MARC::Charset;
+use Encode;
 
+use Koha::Script;
 use C4::Context;
-use C4::Biblio;
+use C4::Biblio qw(
+    AddBiblio
+    GetMarcFromKohaField
+    ModBiblio
+    ModBiblioMarc
+);
 use C4::Koha;
-use C4::Debug;
-use C4::Charset;
-use C4::Items;
-use Unicode::Normalize;
-use Time::HiRes qw(gettimeofday);
-use Getopt::Long;
+use C4::Charset qw( MarcToUTF8Record SetUTF8Flag );
+use C4::Items qw( AddItemBatchFromMarc );
+use C4::MarcModificationTemplates qw(
+    GetModificationTemplates
+    ModifyRecordWithTemplate
+);
+
+use YAML::XS;
+use Time::HiRes qw( gettimeofday );
+use Getopt::Long qw( GetOptions );
 use IO::File;
-use Pod::Usage;
+use Pod::Usage qw( pod2usage );
 
-binmode STDOUT, ':encoding(UTF-8)';
+use Koha::Logger;
+use Koha::Biblios;
+use Koha::SearchEngine;
+use Koha::SearchEngine::Search;
+
+use open qw( :std :encoding(UTF-8) );
+binmode( STDOUT, ":encoding(UTF-8)" );
 my ( $input_marc_file, $number, $offset) = ('',0,0);
 my ($version, $delete, $test_parameter, $skip_marc8_conversion, $char_encoding, $verbose, $commit, $fk_off,$format,$biblios,$authorities,$keepids,$match, $isbn_check, $logfile);
+my ( $insert, $filters, $update, $all, $yamlfile, $authtypes, $append );
 my $cleanisbn = 1;
 my ($sourcetag,$sourcesubfield,$idmapfl, $dedup_barcode);
 my $framework = '';
+my $localcust;
+my $marc_mod_template = '';
+my $marc_mod_template_id = -1;
 
 $|=1;
 
@@ -46,34 +64,98 @@ GetOptions(
     'o|offset:f' => \$offset,
     'h' => \$version,
     'd' => \$delete,
-    't' => \$test_parameter,
+    't|test' => \$test_parameter,
     's' => \$skip_marc8_conversion,
     'c:s' => \$char_encoding,
-    'v:s' => \$verbose,
+    'v:+' => \$verbose,
     'fk' => \$fk_off,
     'm:s' => \$format,
     'l:s' => \$logfile,
+    'append' => \$append,
     'k|keepids:s' => \$keepids,
     'b|biblios' => \$biblios,
     'a|authorities' => \$authorities,
+    'authtypes:s' => \$authtypes,
+    'filter=s@'     => \$filters,
+    'insert'        => \$insert,
+    'update'        => \$update,
+    'all'           => \$all,
     'match=s@'    => \$match,
     'i|isbn' => \$isbn_check,
     'x:s' => \$sourcetag,
     'y:s' => \$sourcesubfield,
     'idmap:s' => \$idmapfl,
     'cleanisbn!'     => \$cleanisbn,
+    'yaml:s'        => \$yamlfile,
     'dedupbarcode' => \$dedup_barcode,
     'framework=s' => \$framework,
+    'custom:s'    => \$localcust,
+    'marcmodtemplate:s' => \$marc_mod_template,
 );
-$biblios=!$authorities||$biblios;
+$biblios ||= !$authorities;
+$insert  ||= !$update;
+my $writemode = ($append) ? "a" : "w";
+
+pod2usage( -msg => "\nYou must specify either --biblios or --authorities, not both.\n", -exitval ) if $biblios && $authorities;
+
+if ($all) {
+    $insert = 1;
+    $update = 1;
+}
 
 if ($version || ($input_marc_file eq '')) {
     pod2usage( -verbose => 2 );
     exit;
 }
+if( $update && !( $match || $isbn_check ) ) {
+    warn "Using -update without -match or -isbn seems to be useless.\n";
+}
+
+if(defined $localcust) { #local customize module
+    if(!-e $localcust) {
+        $localcust= $localcust||'LocalChanges'; #default name
+        $localcust=~ s/^.*\/([^\/]+)$/$1/; #extract file name only
+        $localcust=~ s/\.pm$//;           #remove extension
+        my $fqcust= $FindBin::Bin."/$localcust.pm"; #try migration_tools dir
+        if(-e $fqcust) {
+            $localcust= $fqcust;
+        }
+        else {
+            print "WARNING: customize module $localcust.pm not found!\n";
+            exit 1;
+        }
+    }
+    require $localcust if $localcust;
+    $localcust=\&customize if $localcust;
+}
+
+if($marc_mod_template ne '') {
+    my @templates = GetModificationTemplates();
+    foreach my $this_template (@templates) {
+        if($this_template->{'name'} eq $marc_mod_template) {
+            if($marc_mod_template_id < 0) {
+                $marc_mod_template_id = $this_template->{'template_id'};
+            } else {
+                print "WARNING: MARC modification template name " .
+                "'$marc_mod_template' matches multiple templates. " .
+                "Please rename these templates\n";
+                exit 1;
+            }
+        }
+    }
+    if($marc_mod_template_id < 0) {
+        die "Can't located MARC modification template '$marc_mod_template'\n";
+    } else {
+        print "Records will be modified using MARC modification template: $marc_mod_template\n" if $verbose;
+    }
+}
 
+my $dbh = C4::Context->dbh;
+my $heading_fields=get_heading_fields();
+
+my $idmapfh;
 if (defined $idmapfl) {
-  open(IDMAP,">$idmapfl") or die "cannot open $idmapfl \n";
+  open($idmapfh, '>', $idmapfl) or die "cannot open $idmapfl \n";
 }
 
 if ((not defined $sourcesubfield) && (not defined $sourcetag)){
@@ -81,12 +163,11 @@ if ((not defined $sourcesubfield) && (not defined $sourcetag)){
   $sourcesubfield="a";
 }
 
-my $dbh = C4::Context->dbh;
 
-# save the CataloguingLog property : we don't want to log a bulkmarcimport. It will slow the import & 
-# will create problems in the action_logs table, that can't handle more than 1 entry per second per user.
-my $CataloguingLog = C4::Context->preference('CataloguingLog');
-$dbh->do("UPDATE systempreferences SET value=0 WHERE variable='CataloguingLog'");
+# Disable logging for the biblios and authorities import operation. It would unnecessarily
+# slow the import
+$ENV{OVERRIDE_SYSPREF_CataloguingLog} = 0;
+$ENV{OVERRIDE_SYSPREF_AuthoritiesLog} = 0;
 
 if ($fk_off) {
        $dbh->do("SET FOREIGN_KEY_CHECKS = 0");
@@ -96,9 +177,12 @@ if ($fk_off) {
 if ($delete) {
        if ($biblios){
        print "deleting biblios\n";
-       $dbh->do("truncate biblio");
-       $dbh->do("truncate biblioitems");
-       $dbh->do("truncate items");
+        $dbh->do("DELETE FROM biblio");
+        $dbh->do("ALTER TABLE biblio AUTO_INCREMENT = 1");
+        $dbh->do("DELETE FROM biblioitems");
+        $dbh->do("ALTER TABLE biblioitems AUTO_INCREMENT = 1");
+        $dbh->do("DELETE FROM items");
+        $dbh->do("ALTER TABLE items AUTO_INCREMENT = 1");
        }
        else {
        print "deleting authorities\n";
@@ -115,6 +199,17 @@ if ($test_parameter) {
 
 my $marcFlavour = C4::Context->preference('marcflavour') || 'MARC21';
 
+# The definition of $searcher must be before MARC::Batch->new
+my $searcher = Koha::SearchEngine::Search->new(
+    {
+        index => (
+              $authorities
+            ? $Koha::SearchEngine::AUTHORITIES_INDEX
+            : $Koha::SearchEngine::BIBLIOS_INDEX
+        )
+    }
+);
+
 print "Characteristic MARC flavour: $marcFlavour\n" if $verbose;
 my $starttime = gettimeofday;
 my $batch;
@@ -142,7 +237,7 @@ $batch->warnings_off();
 $batch->strict_off();
 my $i=0;
 my $commitnum = $commit ? $commit : 50;
-
+my $yamlhash;
 
 # Skip file offset
 if ( $offset ) {
@@ -156,19 +251,22 @@ if ($authorities){
 }
 else {
    ( $tagid, $subfieldid ) =
-            GetMarcFromKohaField( "biblio.biblionumber", $framework );
+            GetMarcFromKohaField( "biblio.biblionumber" );
        $tagid||="001";
 }
 
 # the SQL query to search on isbn
 my $sth_isbn = $dbh->prepare("SELECT biblionumber,biblioitemnumber FROM biblioitems WHERE isbn=?");
 
-$dbh->{AutoCommit} = 0;
 my $loghandle;
 if ($logfile){
-   $loghandle= IO::File->new($logfile,"w") ;
+   $loghandle= IO::File->new($logfile, $writemode) ;
    print $loghandle "id;operation;status\n";
 }
+
+my $logger = Koha::Logger->get;
+my $schema = Koha::Database->schema;
+$schema->txn_begin;
 RECORD: while (  ) {
     my $record;
     # get records
@@ -186,9 +284,10 @@ RECORD: while (  ) {
     # skip if we get an empty record (that is MARC valid, but will result in AddBiblio failure
     last unless ( $record );
     $i++;
-    print ".";
-    print "\n$i" unless $i % 100;
-    
+    if( ($verbose//1)==1 ) { #no dot for verbose==2
+        print "." . ( $i % 100==0 ? "\n$i" : '' );
+    }
+
     # transcode the record to UTF8 if needed & applicable.
     if ($record->encoding() eq 'MARC-8' and not $skip_marc8_conversion) {
         # FIXME update condition
@@ -199,58 +298,101 @@ RECORD: while (  ) {
             next RECORD;            
         }
     }
+    SetUTF8Flag($record);
+    if($marc_mod_template_id > 0) {
+    print "Modifying MARC\n" if $verbose;
+    ModifyRecordWithTemplate( $marc_mod_template_id, $record );
+    }
+    &$localcust($record) if $localcust;
     my $isbn;
     # remove trailing - in isbn (only for biblios, of course)
-    if ($biblios && $cleanisbn) {
+    if( $biblios ) {
         my $tag = $marcFlavour eq 'UNIMARC' ? '010' : '020';
         my $field = $record->field($tag);
-        my $isbn = $field && $field->subfield('a');
-        if ( $isbn ) {
+        $isbn = $field && $field->subfield('a');
+        if ( $isbn && $cleanisbn ) {
             $isbn =~ s/-//g;
             $field->update('a' => $isbn);
         }
     }
     my $id;
     # search for duplicates (based on Local-number)
-    if ($match){
-       require C4::Search;
-       my $query=build_query($match,$record);
-       my $server=($authorities?'authorityserver':'biblioserver');
-       my ($error, $results,$totalhits)=C4::Search::SimpleSearch( $query, 0, 3, [$server] );
-       die "unable to search the database for duplicates : $error" if (defined $error);
-       #warn "$query $server : $totalhits";
-       if ( @{$results} == 1 ){
-           my $marcrecord = MARC::File::USMARC::decode($results->[0]);
-                  $id=GetRecordId($marcrecord,$tagid,$subfieldid);
-       } 
-       elsif  ( @{$results} > 1){
-           $debug && warn "more than one match for $query";
-       } 
-       else {
-           $debug && warn "nomatch for $query";
-       }
+    my $originalid;
+    $originalid = GetRecordId( $record, $tagid, $subfieldid );
+    if ($match) {
+        require C4::Search;
+        my $query = build_query( $match, $record );
+        my $server = ( $authorities ? 'authorityserver' : 'biblioserver' );
+        my ( $error, $results, $totalhits ) = $searcher->simple_search_compat( $query, 0, 3, [$server] );
+        # changed to warn so able to continue with one broken record
+        if ( defined $error ) {
+            warn "unable to search the database for duplicates : $error";
+            printlog( { id => $id || $originalid || $match, op => "match", status => "ERROR" } ) if ($logfile);
+            next RECORD;
+        }
+        if ( $results && scalar(@$results) == 1 ) {
+            my $marcrecord = C4::Search::new_record_from_zebra( $server, $results->[0] );
+            SetUTF8Flag($marcrecord);
+            $id = GetRecordId( $marcrecord, $tagid, $subfieldid );
+            if ( $authorities && $marcFlavour ) {
+                #Skip if authority in database is the same as the on in database
+                if ( $marcrecord->field('005') && $record->field('005') &&
+                     $marcrecord->field('005')->data && $record->field('005')->data &&
+                     $marcrecord->field('005')->data >= $record->field('005')->data ) {
+                    if ($yamlfile) {
+                        $yamlhash->{$originalid}->{'authid'} = $id;
+
+                        # we recover all subfields of the heading authorities
+                        my @subfields;
+                        foreach my $field ( $marcrecord->field("2..") ) {
+                            push @subfields, map { ( $_->[0] =~ /[a-z]/ ? $_->[1] : () ) } $field->subfields();
+                        }
+                        $yamlhash->{$originalid}->{'subfields'} = \@subfields;
+                        $yamlhash->{$originalid}->{'updated'} = 0;
+                    }
+                    next;
+                }
+            }
+        } elsif ( $results && scalar(@$results) > 1 ) {
+            $logger->debug("more than one match for $query");
+        } else {
+            $logger->debug("nomatch for $query");
+        }
+    }
+    if ($keepids && $originalid) {
+            my $storeidfield;
+            if ( length($keepids) == 3 ) {
+                $storeidfield = MARC::Field->new( $keepids, $originalid );
+            } else {
+                $storeidfield = MARC::Field->new( substr( $keepids, 0, 3 ), "", "", substr( $keepids, 3, 1 ), $originalid );
+            }
+            $record->insert_fields_ordered($storeidfield);
+            $record->delete_field( $record->field($tagid) );
     }
-       my $originalid;
-    if ($keepids){
-         $originalid=GetRecordId($record,$tagid,$subfieldid);
-      if ($originalid){
-                my $storeidfield;
-                if (length($keepids)==3){
-                       $storeidfield=MARC::Field->new($keepids,$originalid);
-                }
-                else  {
-                       $storeidfield=MARC::Field->new(substr($keepids,0,3),"","",substr($keepids,3,1),$originalid);
-                }
-         $record->insert_fields_ordered($storeidfield);
-            $record->delete_field($record->field($tagid));
-      }
+    foreach my $stringfilter (@$filters) {
+        if ( length($stringfilter) == 3 ) {
+            foreach my $field ( $record->field($stringfilter) ) {
+                $record->delete_field($field);
+                $logger->debug("removed : ", $field->as_string);
+            }
+        } elsif ($stringfilter =~ /([0-9]{3})([a-z0-9])(.*)/) {
+            my $removetag = $1;
+            my $removesubfield = $2;
+            my $removematch = $3;
+            if ( ( $removetag > "010" ) && $removesubfield ) {
+                foreach my $field ( $record->field($removetag) ) {
+                    $field->delete_subfield( code => "$removesubfield", match => $removematch );
+                    $logger->debug("Potentially removed : ", $field->subfield($removesubfield));
+                }
+            }
+        }
     }
     unless ($test_parameter) {
         if ($authorities){
             use C4::AuthoritiesMarc;
-            my $authtypecode=GuessAuthTypeCode($record);
+            my $authtypecode=GuessAuthTypeCode($record, $heading_fields);
             my $authid= ($id?$id:GuessAuthId($record));
-            if ($authid && GetAuthority($authid)){
+            if ($authid && GetAuthority($authid) && $update ){
             ## Authority has an id and is in database : Replace
                 eval { ( $authid ) = ModAuthority($authid,$record, $authtypecode) };
                 if ($@){
@@ -261,17 +403,6 @@ RECORD: while (  ) {
                                        printlog({id=>$originalid||$id||$authid, op=>"edit",status=>"ok"}) if ($logfile);
                                }
             }  
-            elsif (defined $authid) {
-            ## An authid is defined but no authority in database : add
-                eval { ( $authid ) = AddAuthority($record,$authid, $authtypecode) };
-                if ($@){
-                    warn "Problem with authority $authid Cannot Add ".$@;
-                                       printlog({id=>$originalid||$id||$authid, op=>"insert",status=>"ERROR"}) if ($logfile);
-                }
-                               else{
-                                       printlog({id=>$originalid||$id||$authid, op=>"insert",status=>"ok"}) if ($logfile);
-                               }
-            }
                else {
             ## True insert in database
                 eval { ( $authid ) = AddAuthority($record,"", $authtypecode) };
@@ -283,6 +414,15 @@ RECORD: while (  ) {
                                        printlog({id=>$originalid||$id||$authid, op=>"insert",status=>"ok"}) if ($logfile);
                                }
                }
+            if ($yamlfile) {
+            $yamlhash->{$originalid}->{'authid'} = $authid;
+            my @subfields;
+            foreach my $field ( $record->field("2..") ) {
+                push @subfields, map { ( $_->[0] =~ /[a-z]/ ? $_->[1] : () ) } $field->subfields();
+            }
+            $yamlhash->{$originalid}->{'subfields'} = \@subfields;
+            $yamlhash->{$originalid}->{'updated'} = 1;
+            }
         }
         else {
             my ( $biblionumber, $biblioitemnumber, $itemnumbers_ref, $errors_ref );
@@ -297,29 +437,46 @@ RECORD: while (  ) {
                                if ($sourcetag < "010"){
                                        if ($record->field($sourcetag)){
                                          my $source = $record->field($sourcetag)->data();
-                                         printf(IDMAP "%s|%s\n",$source,$biblionumber);
+                      printf($idmapfh "%s|%s\n",$source,$biblionumber);
                                        }
                            } else {
                                        my $source=$record->subfield($sourcetag,$sourcesubfield);
-                                       printf(IDMAP "%s|%s\n",$source,$biblionumber);
+                    printf($idmapfh "%s|%s\n",$source,$biblionumber);
                          }
                        }
                                        # create biblio, unless we already have it ( either match or isbn )
             if ($biblionumber) {
-                               eval{$biblioitemnumber=GetBiblioData($biblionumber)->{biblioitemnumber};}
-                       }
-                       else 
-                       {
-                eval { ( $biblionumber, $biblioitemnumber ) = AddBiblio($record, $framework, { defer_marc_save => 1 }) };
+                eval{
+                    $biblioitemnumber = Koha::Biblios->find( $biblionumber )->biblioitem->biblioitemnumber;
+                };
+                if ($update) {
+                    eval { ModBiblio( $record, $biblionumber, $framework ) };
+                    if ($@) {
+                        warn "ERROR: Edit biblio $biblionumber failed: $@\n";
+                        printlog( { id => $id || $originalid || $biblionumber, op => "update", status => "ERROR" } ) if ($logfile);
+                        next RECORD;
+                    } else {
+                        printlog( { id => $id || $originalid || $biblionumber, op => "update", status => "ok" } ) if ($logfile);
+                    }
+                } else {
+                    printlog( { id => $id || $originalid || $biblionumber, op => "insert", status => "warning : already in database" } ) if ($logfile);
+                }
+            } else {
+                if ($insert) {
+                    eval { ( $biblionumber, $biblioitemnumber ) = AddBiblio( $record, $framework, { defer_marc_save => 1 } ) };
+                    if ($@) {
+                        warn "ERROR: Adding biblio $biblionumber failed: $@\n";
+                        printlog( { id => $id || $originalid || $biblionumber, op => "insert", status => "ERROR" } ) if ($logfile);
+                        next RECORD;
+                    } else {
+                        printlog( { id => $id || $originalid || $biblionumber, op => "insert", status => "ok" } ) if ($logfile);
+                    }
+                } else {
+                    warn "WARNING: Updating record ".($id||$originalid)." failed";
+                    printlog( { id => $id || $originalid || $biblionumber, op => "update", status => "warning : not in database" } ) if ($logfile);
+                    next RECORD;
+                }
             }
-            if ( $@ ) {
-                warn "ERROR: Adding biblio $biblionumber failed: $@\n";
-                               printlog({id=>$id||$originalid||$biblionumber, op=>"insert",status=>"ERROR"}) if ($logfile);
-                next RECORD;
-            } 
-                       else{
-                               printlog({id=>$id||$originalid||$biblionumber, op=>"insert",status=>"ok"}) if ($logfile);
-                       }
             eval { ( $itemnumbers_ref, $errors_ref ) = AddItemBatchFromMarc( $record, $biblionumber, $biblioitemnumber, '' ); };
             my $error_adding = $@;
             # Work on a clone so that if there are real errors, we can maybe
@@ -328,7 +485,7 @@ RECORD: while (  ) {
             C4::Biblio::_strip_item_fields($clone_record, '');
             # This sets the marc fields if there was an error, and also calls
             # defer_marc_save.
-            ModBiblioMarc( $clone_record, $biblionumber, $framework );
+            ModBiblioMarc( $clone_record, $biblionumber );
             if ( $error_adding ) {
                 warn "ERROR: Adding items to bib $biblionumber failed: $error_adding";
                                printlog({id=>$id||$originalid||$biblionumber, op=>"insertitem",status=>"ERROR"}) if ($logfile);
@@ -337,11 +494,11 @@ RECORD: while (  ) {
                 next RECORD;
             }
                        else{
-                               printlog({id=>$id||$originalid||$biblionumber, op=>"insert",status=>"ok"}) if ($logfile);
+                               printlog({id=>$id||$originalid||$biblionumber, op=>"insertitem",status=>"ok"}) if ($logfile);
                        }
             if ($dedup_barcode && grep { exists $_->{error_code} && $_->{error_code} eq 'duplicate_barcode' } @$errors_ref) {
                 # Find the record called 'barcode'
-                my ($tag, $sub) = C4::Biblio::GetMarcFromKohaField('items.barcode', $framework);
+                my ($tag, $sub) = C4::Biblio::GetMarcFromKohaField( 'items.barcode' );
                 # Now remove any items that didn't have a duplicate_barcode error,
                 # erase the barcodes on items that did, and re-add those items.
                 my %dupes;
@@ -374,31 +531,35 @@ RECORD: while (  ) {
                     printlog({id=>$id||$originalid||$biblionumber, op=>"insertitem",status=>"ERROR"}) if ($logfile);
                     # if we failed because of an exception, assume that
                     # the MARC columns in biblioitems were not set.
-                    ModBiblioMarc( $record, $biblionumber, $framework );
+                    ModBiblioMarc( $record, $biblionumber );
                     next RECORD;
                 } else {
-                    printlog({id=>$id||$originalid||$biblionumber, op=>"insert",status=>"ok"}) if ($logfile);
+                    printlog({id=>$id||$originalid||$biblionumber, op=>"insertitem",status=>"ok"}) if ($logfile);
                 }
                 push @$errors_ref, @{ $more_errors };
             }
             if ($#{ $errors_ref } > -1) {
                 report_item_errors($biblionumber, $errors_ref);
             }
+            $yamlhash->{$originalid} = $biblionumber if ($yamlfile);
+        }
+        if ( 0 == $i % $commitnum ) {
+            $schema->txn_commit;
+            $schema->txn_begin;
         }
-        $dbh->commit() if (0 == $i % $commitnum);
     }
+    print $record->as_formatted()."\n" if ($verbose//0)==2;
     last if $i == $number;
 }
-$dbh->commit();
-
-
+$schema->txn_commit;
 
 if ($fk_off) {
        $dbh->do("SET FOREIGN_KEY_CHECKS = 1");
 }
 
-# restore CataloguingLog
-$dbh->do("UPDATE systempreferences SET value=$CataloguingLog WHERE variable='CataloguingLog'");
+# Restore CataloguingLog and AuthoritiesLog
+delete $ENV{OVERRIDE_SYSPREF_CataloguingLog};
+delete $ENV{OVERRIDE_SYSPREF_AuthoritiesLog};
 
 my $timeneeded = gettimeofday - $starttime;
 print "\n$i MARC records done in $timeneeded seconds\n";
@@ -407,6 +568,10 @@ if ($logfile){
   print $loghandle "$i MARC records done in $timeneeded seconds\n";
   $loghandle->close;
 }
+if ($yamlfile) {
+    open my $yamlfileout, q{>}, "$yamlfile" or die "cannot open $yamlfile \n";
+    print $yamlfileout Encode::decode_utf8(YAML::XS::Dump($yamlhash));
+}
 exit 0;
 
 sub GetRecordId{
@@ -432,35 +597,23 @@ sub build_query {
          my $string = build_simplequery($matchingpoint,$record);
          push @searchstrings,$string if (length($string)>0);
         }
-    my $QParser;
-    $QParser = C4::Context->queryparser if (C4::Context->preference('UseQueryParser'));
-    my $op;
-    if ($QParser) {
-        $op = '&&';
-    } else {
-        $op = 'and';
-    }
+    my $op = 'and';
     return join(" $op ",@searchstrings);
 }
 sub build_simplequery {
        my $element=shift;
        my $record=shift;
-        my ($index,$recorddata)=split /,/,$element;
-        my ($tag,$subfields) =($1,$2) if ($recorddata=~/(\d{3})(.*)/);
-        my @searchstrings;
+    my @searchstrings;
+    my ($index,$recorddata)=split /,/,$element;
+    if ($recorddata=~/(\d{3})(.*)/) {
+        my ($tag,$subfields) =($1,$2);
         foreach my $field ($record->field($tag)){
                  if (length($field->as_string("$subfields"))>0){
               push @searchstrings,"$index:\"".$field->as_string("$subfields")."\"";
                  }
         }
-    my $QParser;
-    $QParser = C4::Context->queryparser if (C4::Context->preference('UseQueryParser'));
-    my $op;
-    if ($QParser) {
-        $op = '&&';
-    } else {
-        $op = 'and';
     }
+    my $op = 'and';
     return join(" $op ",@searchstrings);
 }
 sub report_item_errors {
@@ -478,9 +631,21 @@ sub report_item_errors {
 }
 sub printlog{
        my $logelements=shift;
-       print $loghandle join (";",@$logelements{qw<id op status>}),"\n";
+    print $loghandle join( ";", map { defined $_ ? $_ : "" } @$logelements{qw<id op status>} ), "\n";
+}
+sub get_heading_fields{
+    my $headingfields;
+    if ($authtypes){
+        $headingfields = YAML::XS::LoadFile($authtypes);
+        $headingfields={C4::Context->preference('marcflavour')=>$headingfields};
+        $logger->debug(Encode::decode_utf8(YAML::XS::Dump($headingfields)));
+    }
+    unless ($headingfields){
+        $headingfields=$dbh->selectall_hashref("SELECT auth_tag_to_report, authtypecode from auth_types",'auth_tag_to_report',{Slice=>{}});
+        $headingfields={C4::Context->preference('marcflavour')=>$headingfields};
+    }
+    return $headingfields;
 }
-
 
 =head1 NAME
 
@@ -542,9 +707,13 @@ The I<NUMBER> of records to wait before performing a 'commit' operation
 
 File logs actions done for each record and their status into file
 
-=item B<-t>
+=item B<-append>
+
+If specified, data will be appended to the logfile. If not, the logfile will be erased for each execution.
 
-Test mode: parses the file, saying what he would do, but doing nothing.
+=item B<-t, -test>
+
+Test mode: parses the file, saying what it would do, but doing nothing.
 
 =item B<-s>
 
@@ -565,9 +734,35 @@ biblioitems, items
 
 Input file I<FORMAT>: I<MARCXML> or I<ISO2709> (defaults to ISO2709)
 
+=item B<-authtypes>
+
+file yamlfile with authoritiesTypes and distinguishable record field in order
+to store the correct authtype
+
+=item B<-yaml>
+
+yaml file  format a yaml file with ids
+
+=item B<-filter>
+
+list of fields that will not be imported. Can be any from 000 to 999 or field,
+subfield and subfield's matching value such as 200avalue
+
+=item B<-insert>
+
+if set, only insert when possible
+
+=item B<-update>
+
+if set, only updates (any biblio should have a matching record)
+
+=item B<-all>
+
+if set, do whatever is required
+
 =item B<-k, -keepids>=<FIELD>
 
-Field store ids in I<FIELD> (usefull for authorities, where 001 contains the
+Field store ids in I<FIELD> (useful for authorities, where 001 contains the
 authid for Koha, that can contain a very valuable info for authorities coming
 from LOC or BNF. useless for biblios probably)
 
@@ -601,7 +796,7 @@ I<FILE> for the koha bib and source id
 
 =item B<-keepids>
 
-Store ids in 009 (usefull for authorities, where 001 contains the authid for
+Store ids in 009 (useful for authorities, where 001 contains the authid for
 Koha, that can contain a very valuable info for authorities coming from LOC or
 BNF. useless for biblios probably)
 
@@ -618,6 +813,21 @@ This is the code for the framework that the requested records will have attached
 to them when they are created. If not specified, then the default framework
 will be used.
 
+=item B<-custom>=I<MODULE>
+
+This parameter allows you to use a local module with a customize subroutine
+that is called for each MARC record.
+If no filename is passed, LocalChanges.pm is assumed to be in the
+migration_tools subdirectory. You may pass an absolute file name or a file name
+from the migration_tools directory.
+
+=item B<-marcmodtemplate>=I<TEMPLATE>
+
+This parameter allows you to specify the name of an existing MARC
+modification template to apply as the MARC records are imported (these
+templates are created in the "MARC modification templates" tool in Koha).
+If not specified, no MARC modification templates are used (default).
+
 =back
 
 =cut