Bug 32336: (QA follow-up) Use $metadata->schema
[srvgit] / about.pl
index b5edf56..799cc51 100755 (executable)
--- a/about.pl
+++ b/about.pl
@@ -24,45 +24,47 @@ use Modern::Perl;
 
 use CGI qw ( -utf8 );
 use DateTime::TimeZone;
-use File::Spec;
-use List::MoreUtils qw/ any /;
-use LWP::Simple;
-use Module::Load::Conditional qw(can_load);
-use XML::Simple;
-use Config;
+use File::Slurp qw( read_file );
+use IPC::Cmd qw(can_run);
+use List::MoreUtils qw( any );
+use Module::Load::Conditional qw( can_load );
+use Config qw( %Config );
 use Search::Elasticsearch;
-use Try::Tiny;
-use YAML;
+use Try::Tiny qw( catch try );
+use YAML::XS;
+use Encode;
 
-use C4::Output;
-use C4::Auth;
+use C4::Output qw( output_html_with_http_headers );
+use C4::Auth qw( get_template_and_user get_user_subpermissions );
 use C4::Context;
-use C4::Installer;
+use C4::Installer::PerlModules;
 
 use Koha;
-use Koha::DateUtils qw(dt_from_string output_pref);
+use Koha::DateUtils qw( dt_from_string output_pref );
 use Koha::Acquisition::Currencies;
+use Koha::Authorities;
+use Koha::BackgroundJob;
+use Koha::BiblioFrameworks;
+use Koha::Biblios;
+use Koha::Email;
 use Koha::Patron::Categories;
 use Koha::Patrons;
 use Koha::Caches;
 use Koha::Config::SysPrefs;
 use Koha::Illrequest::Config;
 use Koha::SearchEngine::Elasticsearch;
+use Koha::Logger;
+use Koha::Filter::MARC::ViewPolicy;
 
 use C4::Members::Statistics;
 
-
-#use Smart::Comments '####';
-
-my $query = new CGI;
+my $query = CGI->new;
 my ( $template, $loggedinuser, $cookie ) = get_template_and_user(
     {
         template_name   => "about.tt",
         query           => $query,
         type            => "intranet",
-        authnotrequired => 0,
         flagsrequired   => { catalogue => 1 },
-        debug           => 1,
     }
 );
 
@@ -93,6 +95,24 @@ my $time_zone = {
     environment_invalid    => $env_invalid
 };
 
+{ # Logger checks
+    my $log4perl_config = C4::Context->config("log4perl_conf");
+    my @log4perl_errors;
+    if ( ! $log4perl_config ) {
+        push @log4perl_errors, 'missing_config_entry'
+    }
+    else {
+        my @lines = read_file($log4perl_config) or push @log4perl_errors, 'cannot_read_config_file';
+        for my $line ( @lines ) {
+            next unless $line =~ m|log4perl.appender.\w+.filename=(.*)|;
+            push @log4perl_errors, 'logfile_not_writable' unless -w $1;
+        }
+    }
+    eval {Koha::Logger->get};
+    push @log4perl_errors, 'cannot_init_module' and warn $@ if $@;
+    $template->param( log4perl_errors => @log4perl_errors );
+}
+
 $template->param(
     time_zone              => $time_zone,
     current_date_and_time  => output_pref({ dt => dt_from_string(), dateformat => 'iso' })
@@ -106,7 +126,7 @@ if ($^O ne 'VMS') {
 my $zebraVersion = `zebraidx -V`;
 
 # Check running PSGI env
-if ( any { /(^psgi\.|^plack\.)/i } keys %ENV ) {
+if ( C4::Context->psgi_env ) {
     $template->param(
         is_psgi => 1,
         psgi_server => ($ENV{ PLACK_ENV }) ? "Plack ($ENV{PLACK_ENV})" :
@@ -153,19 +173,41 @@ if ($prefStatisticsFields) {
 }
 
 my $prefAutoCreateAuthorities = C4::Context->preference('AutoCreateAuthorities');
-my $prefBiblioAddsAuthorities = C4::Context->preference('BiblioAddsAuthorities');
-my $warnPrefBiblioAddsAuthorities = ( $prefAutoCreateAuthorities && ( !$prefBiblioAddsAuthorities) );
+my $prefRequireChoosingExistingAuthority = C4::Context->preference('RequireChoosingExistingAuthority');
+my $warnPrefRequireChoosingExistingAuthority = ( !$prefAutoCreateAuthorities && ( !$prefRequireChoosingExistingAuthority) );
 
 my $prefEasyAnalyticalRecords  = C4::Context->preference('EasyAnalyticalRecords');
 my $prefUseControlNumber  = C4::Context->preference('UseControlNumber');
 my $warnPrefEasyAnalyticalRecords  = ( $prefEasyAnalyticalRecords  && $prefUseControlNumber );
-my $warnPrefAnonymousPatron = (
+
+my $AnonymousPatron = C4::Context->preference('AnonymousPatron');
+my $warnPrefAnonymousPatronOPACPrivacy = (
     C4::Context->preference('OPACPrivacy')
-        and not C4::Context->preference('AnonymousPatron')
+        and not $AnonymousPatron
+);
+my $warnPrefAnonymousPatronAnonSuggestions = (
+    C4::Context->preference('AnonSuggestions')
+        and not $AnonymousPatron
 );
 
-my $anonymous_patron = Koha::Patrons->find( C4::Context->preference('AnonymousPatron') );
-my $warnPrefAnonymousPatron_PatronDoesNotExist = ( not $anonymous_patron and Koha::Patrons->search({ privacy => 2 })->count );
+my $anonymous_patron = Koha::Patrons->find( $AnonymousPatron );
+my $warnPrefAnonymousPatronAnonSuggestions_PatronDoesNotExist = ( $AnonymousPatron && C4::Context->preference('AnonSuggestions') && not $anonymous_patron );
+
+my $warnPrefAnonymousPatronOPACPrivacy_PatronDoesNotExist = ( not $anonymous_patron and Koha::Patrons->search({ privacy => 2 })->count );
+
+my $warnPrefKohaAdminEmailAddress = !Koha::Email->is_valid(C4::Context->preference('KohaAdminEmailAddress'));
+
+my $c = Koha::Items->filter_by_visible_in_opac->count;
+my @warnings = C4::Context->dbh->selectrow_array('SHOW WARNINGS');
+my $warnPrefOpacHiddenItems = $warnings[2];
+
+my $invalid_yesno = Koha::Config::SysPrefs->search(
+    {
+        type  => 'YesNo',
+        value => { -or => { 'is' => undef, -not_in => [ "1", "0" ] } }
+    }
+);
+$template->param( invalid_yesno => $invalid_yesno );
 
 my $errZebraConnection = C4::Context->Zconn("biblioserver",0)->errcode();
 
@@ -175,8 +217,6 @@ my $warnNoActiveCurrency = (! defined Koha::Acquisition::Currencies->get_active)
 
 my @xml_config_warnings;
 
-my $context = new C4::Context;
-
 if (    C4::Context->config('zebra_bib_index_mode')
     and C4::Context->config('zebra_bib_index_mode') eq 'grs1' )
 {
@@ -189,7 +229,11 @@ if (    C4::Context->config('zebra_auth_index_mode')
     push @xml_config_warnings, { error => 'zebra_auth_index_mode_is_grs1' };
 }
 
-if ( (C4::Context->config('zebra_auth_index_mode') eq 'dom') && ($context->{'server'}->{'authorityserver'}->{'config'} !~ /zebra-authorities-dom.cfg/) ) {
+my $authorityserver = C4::Context->zebraconfig('authorityserver');
+if( (   C4::Context->config('zebra_auth_index_mode')
+    and C4::Context->config('zebra_auth_index_mode') eq 'dom' )
+    && ( $authorityserver->{config} !~ /zebra-authorities-dom.cfg/ ) )
+{
     push @xml_config_warnings, {
         error => 'zebra_auth_index_mode_mismatch_warn'
     };
@@ -201,6 +245,20 @@ if ( ! defined C4::Context->config('log4perl_conf') ) {
     }
 }
 
+if ( ! defined C4::Context->config('lockdir') ) {
+    push @xml_config_warnings, {
+        error => 'lockdir_entry_missing'
+    }
+}
+else {
+    unless ( -w C4::Context->config('lockdir') ) {
+        push @xml_config_warnings, {
+            error   => 'lockdir_not_writable',
+            lockdir => C4::Context->config('lockdir')
+        }
+    }
+}
+
 if ( ! defined C4::Context->config('upload_path') ) {
     if ( Koha::Config::SysPrefs->find('OPACBaseURL')->value ) {
         # OPACBaseURL seems to be set
@@ -222,33 +280,8 @@ if ( ! C4::Context->config('tmp_path') ) {
     }
 }
 
-# Test QueryParser configuration sanity
-if ( C4::Context->preference( 'UseQueryParser' ) ) {
-    # Get the QueryParser configuration file name
-    my $queryparser_file          = C4::Context->config( 'queryparser_config' );
-    my $queryparser_fallback_file = '/etc/koha/searchengine/queryparser.yaml';
-    # Check QueryParser is functional
-    my $QParser = C4::Context->queryparser();
-    my $queryparser_error = {};
-    if ( ! defined $QParser || ref($QParser) ne 'Koha::QueryParser::Driver::PQF' ) {
-        # Error initializing the QueryParser object
-        # Get the used queryparser.yaml file path to report the user
-        $queryparser_error->{ fallback } = ( defined $queryparser_file ) ? 0 : 1;
-        $queryparser_error->{ file }     = ( defined $queryparser_file )
-                                                ? $queryparser_file
-                                                : $queryparser_fallback_file;
-        # Report error data to the template
-        $template->param( QueryParserError => $queryparser_error );
-    } else {
-        # Check for an absent queryparser_config entry in koha-conf.xml
-        if ( ! defined $queryparser_file ) {
-            # Not an error but a warning for the missing entry in koha-conf-xml
-            push @xml_config_warnings, {
-                    error => 'queryparser_entry_missing',
-                    file  => $queryparser_fallback_file
-            };
-        }
-    }
+if( ! C4::Context->config('encryption_key') ) {
+    push @xml_config_warnings, { error => 'encryption_key_missing' };
 }
 
 # Test Zebra facets configuration
@@ -292,6 +325,34 @@ if ( C4::Context->preference('ILLModule') ) {
 
     $template->param( warnILLConfiguration => $warnILLConfiguration );
 }
+unless ( can_run('weasyprint') ) {
+    $template->param( weasyprint_missing => 1 );
+}
+
+{
+    # XSLT sysprefs
+    my @xslt_prefs = qw(
+        OPACXSLTDetailsDisplay
+        OPACXSLTListsDisplay
+        OPACXSLTResultsDisplay
+        XSLTDetailsDisplay
+        XSLTListsDisplay
+        XSLTResultsDisplay
+    );
+    my @warnXSLT;
+    for my $p ( @xslt_prefs ) {
+        my $xsl_filename = C4::XSLT::get_xsl_filename( $p );
+        next if -e $xsl_filename;
+        push @warnXSLT,
+          {
+            syspref  => $p,
+            value    => C4::Context->preference("$p"),
+            filename => $xsl_filename
+          };
+    }
+
+    $template->param( warnXSLT => \@warnXSLT ) if @warnXSLT;
+}
 
 if ( C4::Context->preference('SearchEngine') eq 'Elasticsearch' ) {
     # Check ES configuration health and runtime status
@@ -299,6 +360,7 @@ if ( C4::Context->preference('SearchEngine') eq 'Elasticsearch' ) {
     my $es_status;
     my $es_config_error;
     my $es_running = 1;
+    my $es_has_missing = 0;
 
     my $es_conf;
     try {
@@ -320,17 +382,18 @@ if ( C4::Context->preference('SearchEngine') eq 'Elasticsearch' ) {
         #       fetch the list of available indexes (e.g. plugins, etc)
         $es_status->{nodes} = $es_conf->{nodes};
         my $es = Search::Elasticsearch->new({ nodes => $es_conf->{nodes} });
+        my $es_status->{version} = $es->info->{version}->{number};
 
         foreach my $index ( @indexes ) {
-            my $count;
+            my $index_count;
             try {
-                $count = $es->indices->stats( index => $index )
+                $index_count = $es->indices->stats( index => $index )
                       ->{_all}{primaries}{docs}{count};
             }
             catch {
                 if ( ref($_) eq 'Search::Elasticsearch::Error::Missing' ) {
                     push @{ $es_status->{errors} }, "Index not found ($index)";
-                    $count = -1;
+                    $index_count = -1;
                 }
                 elsif ( ref($_) eq 'Search::Elasticsearch::Error::NoNodes' ) {
                     $es_running = 0;
@@ -341,15 +404,31 @@ if ( C4::Context->preference('SearchEngine') eq 'Elasticsearch' ) {
                 }
             };
 
+            my $db_count = -1;
+            my $missing_count = 0;
+            if ( $index eq $biblios_index_name ) {
+                $db_count = Koha::Biblios->search->count;
+            } elsif ( $index eq $authorities_index_name ) {
+                $db_count = Koha::Authorities->search->count;
+            }
+            if ( $db_count != -1 && $index_count != -1 ) {
+                $missing_count = $db_count - $index_count;
+                $es_has_missing = 1 if $missing_count > 0;
+            }
             push @{ $es_status->{indexes} },
               {
-                index_name => $index,
-                count      => $count
+                index_name    => $index,
+                index_count   => $index_count,
+                db_count      => $db_count,
+                missing_count => $missing_count,
               };
         }
         $es_status->{running} = $es_running;
 
-        $template->param( elasticsearch_status => $es_status );
+        $template->param(
+            elasticsearch_status      => $es_status,
+            elasticsearch_has_missing => $es_has_missing,
+        );
     }
 }
 
@@ -403,7 +482,7 @@ my @bad_yaml_prefs;
 foreach my $syspref (@yaml_prefs) {
     my $yaml = C4::Context->preference( $syspref );
     if ( $yaml ) {
-        eval { YAML::Load( "$yaml\n\n" ); };
+        eval { YAML::XS::Load( Encode::encode_utf8("$yaml\n\n") ); };
         if ($@) {
             push @bad_yaml_prefs, $syspref;
         }
@@ -444,6 +523,111 @@ $template->param( 'bad_yaml_prefs' => \@bad_yaml_prefs ) if @bad_yaml_prefs;
         );
     }
 }
+
+# Circ rule warnings
+{
+    my $dbh   = C4::Context->dbh;
+    my $units = Koha::CirculationRules->search({ rule_name => 'lengthunit', rule_value => { -not_in => ['days', 'hours'] } });
+
+    if ( $units->count ) {
+        $template->param(
+            warnIssuingRules => 1,
+            ir_units         => $units,
+        );
+    }
+}
+
+# Guarantor relationships warnings
+{
+    my $dbh   = C4::Context->dbh;
+    my ($bad_relationships_count) = $dbh->selectall_arrayref(q{
+        SELECT COUNT(*)
+        FROM (
+            SELECT relationship FROM borrower_relationships WHERE relationship='_bad_data'
+            UNION ALL
+            SELECT relationship FROM borrowers WHERE relationship='_bad_data') a
+    });
+
+    $bad_relationships_count = $bad_relationships_count->[0]->[0];
+
+    my $existing_relationships = $dbh->selectall_arrayref(q{
+          SELECT DISTINCT(relationship)
+          FROM (
+              SELECT relationship FROM borrower_relationships WHERE relationship IS NOT NULL
+              UNION ALL
+              SELECT relationship FROM borrowers WHERE relationship IS NOT NULL) a
+    });
+
+    my %valid_relationships = map { $_ => 1 } split( /,|\|/, C4::Context->preference('borrowerRelationship') );
+    $valid_relationships{ _bad_data } = 1; # we handle this case in another way
+
+    my $wrong_relationships = [ grep { !$valid_relationships{ $_->[0] } } @{$existing_relationships} ];
+    if ( @$wrong_relationships or $bad_relationships_count ) {
+
+        $template->param(
+            warnRelationships => 1,
+        );
+
+        if ( $wrong_relationships ) {
+            $template->param(
+                wrong_relationships => $wrong_relationships
+            );
+        }
+        if ($bad_relationships_count) {
+            $template->param(
+                bad_relationships_count => $bad_relationships_count,
+            );
+        }
+    }
+}
+
+{
+    # Test 'bcrypt_settings' config for Pseudonymization
+    $template->param( config_bcrypt_settings_no_set => 1 )
+      if C4::Context->preference('Pseudonymization')
+      and not C4::Context->config('bcrypt_settings');
+}
+
+{
+    my @frameworkcodes = Koha::BiblioFrameworks->search->get_column('frameworkcode');
+    my @hidden_biblionumbers;
+    push @frameworkcodes, ""; # it's not in the biblio_frameworks table!
+    my $no_FA_framework = 1;
+    for my $frameworkcode ( @frameworkcodes ) {
+        $no_FA_framework = 0 if $frameworkcode eq 'FA';
+        my $shouldhidemarc_opac = Koha::Filter::MARC::ViewPolicy->should_hide_marc(
+            {
+                frameworkcode => $frameworkcode,
+                interface     => "opac"
+            }
+        );
+        push @hidden_biblionumbers, { frameworkcode => $frameworkcode, interface => 'opac' }
+          if $shouldhidemarc_opac->{biblionumber};
+
+        my $shouldhidemarc_intranet = Koha::Filter::MARC::ViewPolicy->should_hide_marc(
+            {
+                frameworkcode => $frameworkcode,
+                interface     => "intranet"
+            }
+        );
+        push @hidden_biblionumbers, { frameworkcode => $frameworkcode, interface => 'intranet' }
+          if $shouldhidemarc_intranet->{biblionumber};
+    }
+    $template->param( warnHiddenBiblionumbers => \@hidden_biblionumbers );
+    $template->param( warnFastCataloging => $no_FA_framework );
+}
+
+{
+    # BackgroundJob - test connection to message broker
+    eval {
+        Koha::BackgroundJob->connect;
+    };
+    if ( $@ ) {
+        warn $@;
+        $template->param( warnConnectBroker => $@ );
+    }
+}
+
 my %versions = C4::Context::get_versions();
 
 $template->param(
@@ -455,12 +639,16 @@ $template->param(
     mysqlVersion  => $versions{'mysqlVersion'},
     apacheVersion => $versions{'apacheVersion'},
     zebraVersion  => $zebraVersion,
-    prefBiblioAddsAuthorities => $prefBiblioAddsAuthorities,
+    prefRequireChoosingExistingAuthority => $prefRequireChoosingExistingAuthority,
     prefAutoCreateAuthorities => $prefAutoCreateAuthorities,
-    warnPrefBiblioAddsAuthorities => $warnPrefBiblioAddsAuthorities,
+    warnPrefRequireChoosingExistingAuthority => $warnPrefRequireChoosingExistingAuthority,
     warnPrefEasyAnalyticalRecords  => $warnPrefEasyAnalyticalRecords,
-    warnPrefAnonymousPatron => $warnPrefAnonymousPatron,
-    warnPrefAnonymousPatron_PatronDoesNotExist => $warnPrefAnonymousPatron_PatronDoesNotExist,
+    warnPrefAnonymousPatronOPACPrivacy        => $warnPrefAnonymousPatronOPACPrivacy,
+    warnPrefAnonymousPatronAnonSuggestions    => $warnPrefAnonymousPatronAnonSuggestions,
+    warnPrefAnonymousPatronOPACPrivacy_PatronDoesNotExist     => $warnPrefAnonymousPatronOPACPrivacy_PatronDoesNotExist,
+    warnPrefAnonymousPatronAnonSuggestions_PatronDoesNotExist => $warnPrefAnonymousPatronAnonSuggestions_PatronDoesNotExist,
+    warnPrefKohaAdminEmailAddress => $warnPrefKohaAdminEmailAddress,
+    warnPrefOpacHiddenItems => $warnPrefOpacHiddenItems,
     errZebraConnection => $errZebraConnection,
     warnIsRootUser => $warnIsRootUser,
     warnNoActiveCurrency => $warnNoActiveCurrency,
@@ -490,6 +678,8 @@ foreach my $pm_type(@pm_types) {
                 current => ($pm_type eq 'current_pm' ? 1 : 0),
                 require => $stats->{'required'},
                 reqversion => $stats->{'min_ver'},
+                maxversion => $stats->{'max_ver'},
+                excversion => $stats->{'exc_ver'}
             }
         );
     }
@@ -520,9 +710,7 @@ $template->param( table => $table );
 
 
 ## ------------------------------------------
-## Koha time line code
-
-#get file location
+## Koha contributions
 my $docdir;
 if ( defined C4::Context->config('docdir') ) {
     $docdir = C4::Context->config('docdir');
@@ -532,6 +720,84 @@ if ( defined C4::Context->config('docdir') ) {
     $docdir = C4::Context->config('intranetdir') . '/docs';
 }
 
+## Release teams
+my $teams =
+  -e "$docdir" . "/teams.yaml"
+  ? YAML::XS::LoadFile( "$docdir" . "/teams.yaml" )
+  : {};
+my $dev_team = (sort {$b <=> $a} (keys %{$teams->{team}}))[0];
+my $short_version = substr($versions{'kohaVersion'},0,5);
+my $minor = substr($versions{'kohaVersion'},3,2);
+my $development_version = ( $minor eq '05' || $minor eq '11' ) ? 0 : 1;
+my $codename;
+$template->param( short_version => $short_version );
+$template->param( development_version => $development_version );
+
+## Contributors
+my $contributors =
+  -e "$docdir" . "/contributors.yaml"
+  ? YAML::XS::LoadFile( "$docdir" . "/contributors.yaml" )
+  : {};
+delete $contributors->{_others_};
+for my $version ( sort { $a <=> $b } keys %{$teams->{team}} ) {
+    for my $role ( keys %{ $teams->{team}->{$version} } ) {
+        my $normalized_role = "$role";
+        $normalized_role =~ s/s$//;
+        if ( ref( $teams->{team}->{$version}->{$role} ) eq 'ARRAY' ) {
+            for my $contributor ( @{ $teams->{team}->{$version}->{$role} } ) {
+                my $name = $contributor->{name};
+                # Add role to contributors
+                push @{ $contributors->{$name}->{roles}->{$normalized_role} },
+                  $version;
+                # Add openhub to teams
+                if ( exists( $contributors->{$name}->{openhub} ) ) {
+                    $contributor->{openhub} = $contributors->{$name}->{openhub};
+                }
+            }
+        }
+        elsif ( $role eq 'release_date' ) {
+            $teams->{team}->{$version}->{$role} = DateTime->from_epoch( epoch => $teams->{team}->{$version}->{$role});
+        }
+        elsif ( $role eq 'codename' ) {
+            if ( $version == $short_version ) {
+                $codename = $teams->{team}->{$version}->{$role};
+            }
+            next;
+        }
+        else {
+            my $name = $teams->{team}->{$version}->{$role}->{name};
+            # Add role to contributors
+            push @{ $contributors->{$name}->{roles}->{$normalized_role} },
+              $version;
+            # Add openhub to teams
+            if ( exists( $contributors->{$name}->{openhub} ) ) {
+                $teams->{team}->{$version}->{$role}->{openhub} =
+                  $contributors->{$name}->{openhub};
+            }
+        }
+    }
+}
+
+## Create last name ordered array of people from contributors
+my @people = map {
+    { name => $_, ( $contributors->{$_} ? %{ $contributors->{$_} } : () ) }
+} sort {
+  my ($alast) = $a =~ /(\S+)$/;
+  my ($blast) = $b =~ /(\S+)$/;
+  my $cmp = lc($alast||"") cmp lc($blast||"");
+  return $cmp if $cmp;
+
+  my ($a2last) = $a =~ /(\S+)\s\S+$/;
+  my ($b2last) = $b =~ /(\S+)\s\S+$/;
+  lc($a2last||"") cmp lc($b2last||"");
+} keys %$contributors;
+
+$template->param( kohaCodename  => $codename);
+$template->param( contributors => \@people );
+$template->param( maintenance_team => $teams->{team}->{$dev_team} );
+$template->param( release_team => $teams->{team}->{$short_version} );
+
+## Timeline
 if ( open( my $file, "<:encoding(UTF-8)", "$docdir" . "/history.txt" ) ) {
 
     my $i = 0;