Bug 27673: Replace YAML with YAML::XS
[koha-ffzg.git] / opac / opac-search.pl
index 1f5413f..c04960d 100755 (executable)
@@ -29,19 +29,41 @@ use Modern::Perl;
 ## load Koha modules
 use C4::Context;
 use List::MoreUtils q/any/;
+use Try::Tiny;
+use YAML::XS;
+
+use Data::Dumper; # TODO remove
+
+use Koha::SearchEngine::Search;
+use Koha::SearchEngine::QueryBuilder;
+
+my $searchengine = C4::Context->preference("SearchEngine");
+my ($builder, $searcher);
+#$searchengine = 'Zebra'; # XXX
+$builder  = Koha::SearchEngine::QueryBuilder->new({index => 'biblios'});
+$searcher = Koha::SearchEngine::Search->new({index => 'biblios'});
 
 use C4::Output;
 use C4::Auth qw(:DEFAULT get_session);
 use C4::Languages qw(getLanguages);
 use C4::Search;
 use C4::Search::History;
-use C4::Biblio;  # GetBiblioData
+use C4::Biblio; # Unused here?
 use C4::Koha;
 use C4::Tags qw(get_tags);
-use C4::Branch; # GetBranches
 use C4::SocialData;
-use C4::Ratings;
 use C4::External::OverDrive;
+use C4::External::BakerTaylor qw( image_url link_url );
+
+use Koha::CirculationRules;
+use Koha::Libraries;
+use Koha::ItemTypes;
+use Koha::Ratings;
+use Koha::Virtualshelves;
+use Koha::Library::Groups;
+use Koha::Patrons;
+use Koha::Plugins;
+use Koha::SearchFields;
 
 use POSIX qw(ceil floor strftime);
 use URI::Escape;
@@ -52,7 +74,7 @@ my $DisplayMultiPlaceHold = C4::Context->preference("DisplayMultiPlaceHold");
 # create a new CGI object
 # FIXME: no_undef_params needs to be tested
 use CGI qw('-no_undef_params' -utf8);
-my $cgi = new CGI;
+my $cgi = CGI->new;
 
 my $branch_group_limit = $cgi->param("branch_group_limit");
 if ( $branch_group_limit ) {
@@ -72,35 +94,27 @@ if ( $branch_group_limit ) {
     }
 }
 
-BEGIN {
-    if (C4::Context->preference('BakerTaylorEnabled')) {
-        require C4::External::BakerTaylor;
-        import C4::External::BakerTaylor qw(&image_url &link_url);
-    }
-}
-
 my ($template,$borrowernumber,$cookie);
 # decide which template to use
 my $template_name;
 my $template_type = 'basic';
-my @params = $cgi->param("limit");
-my @searchCategories = $cgi->param('searchcat');
+my @params = $cgi->multi_param("limit");
+my @searchCategories = $cgi->multi_param('searchcat');
 
 my $format = $cgi->param("format") || '';
-my $build_grouped_results = C4::Context->preference('OPACGroupResults');
 if ($format =~ /(rss|atom|opensearchdescription)/) {
     $template_name = 'opac-opensearch.tt';
 }
-elsif (@params && $build_grouped_results) {
-    $template_name = 'opac-results-grouped.tt';
-}
-elsif ((@params>=1) || ($cgi->param("q")) || ($cgi->param('multibranchlimit')) || ($cgi->param('limit-yr')) ) {
+elsif ((@params>=1) || ($cgi->param("q")) || ($cgi->param('multibranchlimit')) || ($cgi->param('limit-yr')) || @searchCategories ) {
     $template_name = 'opac-results.tt';
 }
 else {
     $template_name = 'opac-advsearch.tt';
     $template_type = 'advsearch';
 }
+
+$format = 'rss' if $format =~ /^rss2?$/;
+
 # load the template
 ($template, $borrowernumber, $cookie) = get_template_and_user({
     template_name => $template_name,
@@ -109,6 +123,7 @@ else {
     authnotrequired => ( C4::Context->preference("OpacPublic") ? 1 : 0 ),
     }
 );
+my $patron = Koha::Patrons->find( $borrowernumber );
 
 my $lang = C4::Languages::getlanguage($cgi);
 
@@ -124,7 +139,7 @@ if($cgi->cookie("bib_list")){
     @cart_list = split(/\//, $cart_list);
 }
 
-if ($format eq 'rss2' or $format eq 'opensearchdescription' or $format eq 'atom') {
+if ($format eq 'rss' or $format eq 'opensearchdescription' or $format eq 'atom') {
     $template->param($format => 1);
     $template->param(timestamp => strftime("%Y-%m-%dT%H:%M:%S-00:00", gmtime)) if ($format eq 'atom'); 
     # FIXME - the timestamp is a hack - the biblio update timestamp should be used for each
@@ -200,10 +215,8 @@ if ($cgi->cookie("search_path_code")) {
     }
 }
 
-my $branches = GetBranches();   # used later in *getRecords, probably should be internalized by those functions after caching in C4::Branch is established
-$template->param(
-    searchdomainloop => GetBranchCategories('searchdomain'),
-);
+my @search_groups = Koha::Library::Groups->get_search_groups();
+$template->param( search_groups => \@search_groups );
 
 # load the language limits (for search)
 my $languages_limit_loop = getLanguages($lang, 1);
@@ -213,11 +226,14 @@ $template->param(search_languages_loop => $languages_limit_loop,);
 my $itemtypes = GetItemTypesCategorized;
 # add translated_description to itemtypes
 foreach my $itemtype ( keys %{$itemtypes} ) {
-    # Itemtypes search categories don't have (yet) translated descriptions, they are auth values
-    my $translated_description = getitemtypeinfo( $itemtype, 'opac' )->{translated_description};
-    $itemtypes->{$itemtype}->{translated_description} =
-            ( $translated_description ) ? $translated_description : $itemtypes->{$itemtype}->{description};
+    # Itemtypes search categories don't have (yet) translated descriptions, they are auth values (and could still have no descriptions too BZ 18400)
+    # If 'iscat' (see ITEMTYPECAT) then there is no itemtype and the description is not translated
+    my $translated_description = $itemtypes->{$itemtype}->{iscat}
+      ? $itemtypes->{$itemtype}->{description}
+      : Koha::ItemTypes->find($itemtype)->translated_description;
+    $itemtypes->{$itemtype}->{translated_description} = $translated_description || $itemtypes->{$itemtype}->{description} || q{};
 }
+
 # the index parameter is different for item-level itemtypes
 my $itype_or_itemtype = (C4::Context->preference("item-level_itypes"))?'itype':'itemtype';
 my @advancedsearchesloop;
@@ -230,20 +246,21 @@ my $yaml = C4::Context->preference('OpacHiddenItems');
 if ( $yaml =~ /\S/ ) {
     $yaml = "$yaml\n\n"; # YAML expects trailing newline. Surplus does not hurt.
     eval {
-        $hidingrules = YAML::Load($yaml);
+        $hidingrules = YAML::XS::Load($yaml);
     };
     if ($@) {
         warn "Unable to parse OpacHiddenItems syspref : $@";
     }
 }
 
+my @sorted_itemtypes = sort { $itemtypes->{$a}->{translated_description} cmp $itemtypes->{$b}->{translated_description} } keys %$itemtypes;
 foreach my $advanced_srch_type (@advanced_search_types) {
     $advanced_srch_type =~ s/^\s*//;
     $advanced_srch_type =~ s/\s*$//;
    if ($advanced_srch_type eq 'itemtypes') {
    # itemtype is a special case, since it's not defined in authorized values
         my @itypesloop;
-        foreach my $thisitemtype ( sort {$itemtypes->{$a}->{translated_description} cmp $itemtypes->{$b}->{translated_description} } keys %$itemtypes ) {
+        foreach my $thisitemtype ( @sorted_itemtypes ) {
             next if $hidingrules->{itype} && any { $_ eq $thisitemtype } @{$hidingrules->{itype}};
             next if $hidingrules->{itemtype} && any { $_ eq $thisitemtype } @{$hidingrules->{itemtype}};
            my %row =(  number=>$cnt++,
@@ -264,7 +281,7 @@ foreach my $advanced_srch_type (@advanced_search_types) {
         push @advancedsearchesloop, \%search_code;
     } else {
     # covers all the other cases: non-itemtype authorized values
-       my $advsearchtypes = GetAuthorisedValues($advanced_srch_type, '', 'opac');
+       my $advsearchtypes = GetAuthorisedValues($advanced_srch_type, 'opac');
         my @authvalueloop;
        for my $thisitemtype (@$advsearchtypes) {
             my $hiding_key = lc $thisitemtype->{category};
@@ -309,7 +326,7 @@ if ( $template_type && $template_type eq 'advsearch' ) {
     # shouldn't appear on the first one, scan indexes should, adding a new
     # box should only appear on the last, etc.
     my @search_boxes_array;
-    my $search_boxes_count = 3; # begin whith 3 boxes
+    my $search_boxes_count = 3; # begin with 3 boxes
     $template->param( search_boxes_count => $search_boxes_count );
 
     if ($cgi->cookie("num_paragraph")){
@@ -360,13 +377,10 @@ if ( $template_type && $template_type eq 'advsearch' ) {
     # but let the user override it
     if (defined $cgi->param('expanded_options')) {
         if ( ($cgi->param('expanded_options') == 0) || ($cgi->param('expanded_options') == 1 ) ) {
-            $template->param( expanded_options => $cgi->param('expanded_options'));
+            $template->param( expanded_options => scalar $cgi->param('expanded_options'));
         }
     }
 
-    if (C4::Context->preference('OPACNumbersPreferPhrase')) {
-        $template->param('numbersphr' => 1);
-    }
 
     output_html_with_http_headers $cgi, $cookie, $template->output;
     exit;
@@ -390,7 +404,7 @@ if ( $params->{tag} ) {
 my $pasarParams = '';
 my $j = 0;
 for (keys %$params) {
-    my @pasarParam = $cgi->param($_);
+    my @pasarParam = $cgi->multi_param($_);
     for my $paramValue(@pasarParam) {
         $pasarParams .= '&' if ($j > 0);
         $pasarParams .= $_ . '=' . uri_escape_utf8($paramValue);
@@ -411,17 +425,17 @@ if (   C4::Context->preference('OPACdefaultSortField')
 }
 
 my @allowed_sortby = qw /acqdate_asc acqdate_dsc author_az author_za call_number_asc call_number_dsc popularity_asc popularity_dsc pubdate_asc pubdate_dsc relevance title_az title_za/; 
-@sort_by = $cgi->param('sort_by');
+@sort_by = $cgi->multi_param('sort_by');
 $sort_by[0] = $default_sort_by if !$sort_by[0] && defined($default_sort_by);
 foreach my $sort (@sort_by) {
-    if ( grep { /^$sort$/ } @allowed_sortby ) {
+    if ( grep { $_ eq $sort } @allowed_sortby ) {
         $template->param($sort => 1);
     }
 }
 $template->param('sort_by' => $sort_by[0]);
 
 # Use the servers defined, or just search our local catalog(default)
-my @servers = $cgi->param('server');
+my @servers = $cgi->multi_param('server');
 unless (@servers) {
     #FIXME: this should be handled using Context.pm
     @servers = ("biblioserver");
@@ -430,20 +444,23 @@ unless (@servers) {
 
 # operators include boolean and proximity operators and are used
 # to evaluate multiple operands
-my @operators = $cgi->param('op');
+my @operators = $cgi->multi_param('op');
 @operators = map { uri_unescape($_) } @operators;
 
 # indexes are query qualifiers, like 'title', 'author', etc. They
 # can be single or multiple parameters separated by comma: kw,right-Truncation 
-my @indexes = $cgi->param('idx');
+my @indexes = $cgi->multi_param('idx');
 @indexes = map { uri_unescape($_) } @indexes;
 
 # if a simple index (only one)  display the index used in the top search box
 if ($indexes[0] && !$indexes[1]) {
-    $template->param("ms_".$indexes[0] => 1);
+    my $idx = "ms_".$indexes[0];
+    $idx =~ s/\,/comma/g;  # template toolkit doesn't like variables with a , in it
+    $idx =~ s/-/dash/g;  # template toolkit doesn't like variables with a dash in it
+    $template->param($idx => 1);
 }
 # an operand can be a single term, a phrase, or a complete ccl query
-my @operands = $cgi->param('q');
+my @operands = $cgi->multi_param('q');
 @operands = map { uri_unescape($_) } @operands;
 
 $template->{VARS}->{querystring} = join(' ', @operands);
@@ -456,9 +473,9 @@ if ($operands[0] && !$operands[1]) {
 }
 
 # limits are use to limit to results to a pre-defined category such as branch or language
-my @limits = $cgi->param('limit');
+my @limits = $cgi->multi_param('limit');
 @limits = map { uri_unescape($_) } @limits;
-my @nolimits = $cgi->param('nolimit');
+my @nolimits = $cgi->multi_param('nolimit');
 @nolimits = map { uri_unescape($_) } @nolimits;
 my %is_nolimit = map { $_ => 1 } @nolimits;
 @limits = grep { not $is_nolimit{$_} } @limits;
@@ -466,7 +483,8 @@ my %is_nolimit = map { $_ => 1 } @nolimits;
 if (@searchCategories > 0) {
     my @tabcat;
     foreach my $typecategory (@searchCategories) {
-        push (@tabcat, GetItemTypesByCategory($typecategory));
+        my @itemtypes = Koha::ItemTypes->search({ searchcategory => $typecategory });
+        push @tabcat, $_->itemtype for @itemtypes;
     }
 
     foreach my $itemtypeInCategory (@tabcat) {
@@ -477,7 +495,9 @@ if (@searchCategories > 0) {
 @limits = map { uri_unescape($_) } @limits;
 
 if($params->{'multibranchlimit'}) {
-    my $multibranch = '('.join( " or ", map { "branch: $_ " } @{ GetBranchesInCategory( $params->{'multibranchlimit'} ) } ).')';
+    my $search_group = Koha::Library::Groups->find( $params->{multibranchlimit} );
+    my @libraries = $search_group->all_libraries;
+    my $multibranch = '('.join( " OR ", map { 'homebranch: ' . $_->branchcode } @libraries ) .')';
     push @limits, $multibranch if ($multibranch ne  '()');
 }
 
@@ -491,11 +511,7 @@ $template->param(available => $available);
 
 # append year limits if they exist
 if ($params->{'limit-yr'}) {
-    if ($params->{'limit-yr'} =~ /\d{4}-\d{4}/) {
-        my ($yr1,$yr2) = split(/-/, $params->{'limit-yr'});
-        push @limits, "yr,st-numeric,ge=$yr1 and yr,st-numeric,le=$yr2";
-    }
-    elsif ($params->{'limit-yr'} =~ /\d{4}/) {
+    if ($params->{'limit-yr'} =~ /\d{4}/) {
         push @limits, "yr,st-numeric=$params->{'limit-yr'}";
     }
     else {
@@ -509,22 +525,51 @@ my $count = C4::Context->preference('OPACnumSearchResults') || 20;
 my $countRSS         = C4::Context->preference('numSearchRSSResults') || 50;
 my $results_per_page = $params->{'count'} || $count;
 my $offset = $params->{'offset'} || 0;
+$offset = 0 if $offset < 0;
 my $page = $cgi->param('page') || 1;
 $offset = ($page-1)*$results_per_page if $page>1;
 my $hits;
-my $expanded_facet = $params->{'expand'};
+my $weight_search = $cgi->param('advsearch') ? $cgi->param('weight_search') || 0 : 1;
 
 # Define some global variables
-my ($error,$query,$simple_query,$query_cgi,$query_desc,$limit,$limit_cgi,$limit_desc,$stopwords_removed,$query_type);
+my ($error,$query,$simple_query,$query_cgi,$query_desc,$limit,$limit_cgi,$limit_desc,$query_type);
 
-my @results;
+my $suppress = 0;
+if (C4::Context->preference('OpacSuppression')) {
+    # OPAC suppression by IP address
+    if (C4::Context->preference('OpacSuppressionByIPRange')) {
+        my $IPAddress = $ENV{'REMOTE_ADDR'};
+        my $IPRange = C4::Context->preference('OpacSuppressionByIPRange');
+        $suppress = ($IPAddress !~ /^$IPRange/);
+    }
+    else {
+        $suppress = 1;
+    }
+}
 
 ## I. BUILD THE QUERY
-( $error,$query,$simple_query,$query_cgi,$query_desc,$limit,$limit_cgi,$limit_desc,$stopwords_removed,$query_type) = buildQuery(\@operators,\@operands,\@indexes,\@limits,\@sort_by, 0, $lang);
+( $error,$query,$simple_query,$query_cgi,$query_desc,$limit,$limit_cgi,$limit_desc,$query_type)
+  = $builder->build_query_compat(
+    \@operators,
+    \@operands,
+    \@indexes,
+    \@limits,
+    \@sort_by,
+    0,
+    $lang,
+    {
+        suppress => $suppress,
+        is_opac => 1,
+        weighted_fields => $weight_search
+    }
+);
+
+$template->param( search_query => $query ) if C4::Context->preference('DumpSearchQueryTemplate');
 
 sub _input_cgi_parse {
     my @elements;
-    for my $this_cgi ( split('&',shift) ) {
+    my $query_cgi = shift or return @elements;
+    for my $this_cgi ( split('&',$query_cgi) ) {
         next unless $this_cgi;
         $this_cgi =~ /(.*?)=(.*)/;
         push @elements, { input_name => $1, input_value => Encode::decode_utf8( uri_unescape($2) ) };
@@ -539,34 +584,16 @@ $template->param ( QUERY_INPUTS => \@query_inputs );
 ## parse the limit_cgi string and put it into a form suitable for <input>s
 my @limit_inputs = $limit_cgi ? _input_cgi_parse($limit_cgi) : ();
 
-# add OPAC 'hidelostitems'
-#if (C4::Context->preference('hidelostitems') == 1) {
-#    # either lost ge 0 or no value in the lost register
-#    $query ="($query) and ( (lost,st-numeric <= 0) or ( allrecords,AlwaysMatches='' not lost,AlwaysMatches='') )";
-#}
-#
-# add OPAC suppression - requires at least one item indexed with Suppress
-if (C4::Context->preference('OpacSuppression')) {
-    # OPAC suppression by IP address
-    if (C4::Context->preference('OpacSuppressionByIPRange')) {
-        my $IPAddress = $ENV{'REMOTE_ADDR'};
-        my $IPRange = C4::Context->preference('OpacSuppressionByIPRange');
-        if ($IPAddress !~ /^$IPRange/)  {
-            if ( $query_type eq 'pqf' ) {
-                $query = '@not '.$query.' @attr 1=9011 1';
-            } else {
-                $query = "($query) not Suppress=1";
-            }
-        }
-    }
-    else {
-        if ( $query_type eq 'pqf' ) {
-            #$query = "($query) && -(suppress:1)"; #QP syntax
-            $query = '@not '.$query.' @attr 1=9011 1'; #PQF syntax
-        } else {
-            $query = "($query) not Suppress=1";
-        }
-    }
+# OpenURL
+my @OpenURL_itypes;
+if (C4::Context->preference('OPACShowOpenURL')) {
+    @OpenURL_itypes = split( /\s/, C4::Context->preference('OPACOpenURLItemTypes') );
+    $template->param(
+        OPACShowOpenURL => 1,
+        OpenURLResolverURL => C4::Context->preference('OpenURLResolverURL'),
+        OpenURLText => C4::Context->preference('OpenURLText'),
+        OpenURLImageLocation => C4::Context->preference('OpenURLImageLocation')
+    );
 }
 
 $template->param ( LIMIT_INPUTS => \@limit_inputs );
@@ -575,43 +602,32 @@ $template->param ( OPACResultsSidebar => C4::Context->preference('OPACResultsSid
 ## II. DO THE SEARCH AND GET THE RESULTS
 my $total = 0; # the total results for the whole set
 my $facets; # this object stores the faceted results that display on the left-hand of the results page
-my @results_array;
 my $results_hashref;
-my @coins;
 
 if ($tag) {
-    $query_cgi = "tag=" .$tag . "&" . $query_cgi;
+    $query_cgi = "tag=" .  uri_escape_utf8( $tag ) . "&" . $query_cgi;
     my $taglist = get_tags({term=>$tag, approved=>1});
     $results_hashref->{biblioserver}->{hits} = scalar (@$taglist);
-    my @biblist  = (map {GetBiblioData($_->{biblionumber})} @$taglist);
-    my @marclist = (map { (C4::Context->config('zebra_bib_index_mode') eq 'dom')? $_->{marcxml}: $_->{marc}; } @biblist);
+    my @marclist = map { C4::Biblio::GetXmlBiblio( $_->{biblionumber} ) } @$taglist;
     $DEBUG and printf STDERR "taglist (%s biblionumber)\nmarclist (%s records)\n", scalar(@$taglist), scalar(@marclist);
     $results_hashref->{biblioserver}->{RECORDS} = \@marclist;
     # FIXME: tag search and standard search should work together, not exclusively
+    # FIXME: Because search and standard search don't work together OpacHiddenItems
+    #        displays search results which should be hidden.
     # FIXME: No facets for tags search.
-} elsif ($build_grouped_results) {
-    eval {
-        ($error, $results_hashref, $facets) = C4::Search::pazGetRecords($query,$simple_query,\@sort_by,\@servers,$results_per_page,$offset,$expanded_facet,$branches,$query_type,$scan);
-    };
 } else {
     $pasarParams .= '&amp;query=' . uri_escape_utf8($query);
     $pasarParams .= '&amp;count=' . uri_escape_utf8($results_per_page);
     $pasarParams .= '&amp;simple_query=' . uri_escape_utf8($simple_query);
     $pasarParams .= '&amp;query_type=' . uri_escape_utf8($query_type) if ($query_type);
+    my $itemtypes_nocategory = { map { $_->{itemtype} => $_ } @{ Koha::ItemTypes->search_with_localization->unblessed } };
     eval {
-        ($error, $results_hashref, $facets) = getRecords($query,$simple_query,\@sort_by,\@servers,$results_per_page,$offset,$expanded_facet,$branches,$itemtypes,$query_type,$scan,1);
-    };
-}
-# This sorts the facets into alphabetical order
-if ($facets) {
-    foreach my $f (@$facets) {
-        $f->{facets} = [ sort { uc($a->{facet_label_value}) cmp uc($b->{facet_label_value}) } @{ $f->{facets} } ];
-    }
-    @$facets = sort {$a->{expand} cmp $b->{expand}} @$facets;
+        ($error, $results_hashref, $facets) = $searcher->search_compat($query,$simple_query,\@sort_by,\@servers,$results_per_page,$offset,undef,$itemtypes_nocategory,$query_type,$scan,1);
+};
 }
 
 # use Data::Dumper; print STDERR "-" x 25, "\n", Dumper($results_hashref);
-if ($@ || $error) {
+if (not $tag and ( $@ || $error)) {
     $template->param(query_error => $error.$@);
     output_html_with_http_headers $cgi, $cookie, $template->output;
     exit;
@@ -620,27 +636,39 @@ if ($@ || $error) {
 # At this point, each server has given us a result set
 # now we build that set for template display
 my @sup_results_array;
+my $search_context = {};
+$search_context->{'interface'} = 'opac';
+if (C4::Context->preference('OpacHiddenItemsExceptions')){
+    $search_context->{'category'} = $patron ? $patron->categorycode : q{};
+}
+
+my $variables = { anonymous_session => ($borrowernumber) ? 0 : 1 };
+
+my @plugin_responses = Koha::Plugins->call(
+    'opac_results_xslt_variables',
+    {
+        lang       => $lang,
+        patron_id  => $borrowernumber
+    }
+);
+for my $plugin_variables ( @plugin_responses ) {
+    $variables = { %$variables, %$plugin_variables };
+}
+
 for (my $i=0;$i<@servers;$i++) {
     my $server = $servers[$i];
     if ($server && $server =~/biblioserver/) { # this is the local bibliographic server
         $hits = $results_hashref->{$server}->{"hits"};
         my $page = $cgi->param('page') || 0;
-        my @newresults;
-        if ($build_grouped_results) {
-            foreach my $group (@{ $results_hashref->{$server}->{"GROUPS"} }) {
-                # because pazGetRecords handles retieving only the records
-                # we want as specified by $offset and $results_per_page,
-                # we need to set the offset parameter of searchResults to 0
-                my @group_results = searchResults( 'opac', $query_desc, $group->{'group_count'},$results_per_page, 0, $scan,
-                                                   $group->{"RECORDS"});
-                push @newresults, { group_label => $group->{'group_label'}, GROUP_RESULTS => \@group_results };
-            }
-        } else {
-            @newresults = searchResults('opac', $query_desc, $hits, $results_per_page, $offset, $scan,
-                                        $results_hashref->{$server}->{"RECORDS"});
-        }
+        my @newresults = searchResults( $search_context, $query_desc, $hits, $results_per_page, $offset, $scan,
+                                        $results_hashref->{$server}->{"RECORDS"}, $variables);
         $hits = 0 unless @newresults;
 
+        my $art_req_itypes;
+        if( C4::Context->preference('ArticleRequests') ) {
+            $art_req_itypes = Koha::CirculationRules->guess_article_requestable_itemtypes({ $patron ? ( categorycode => $patron->categorycode ) : () });
+        }
+
         foreach my $res (@newresults) {
 
             # must define a value for size if not present in DB
@@ -652,8 +680,9 @@ for (my $i=0;$i<@servers;$i++) {
             }
 
             if (C4::Context->preference('COinSinOPACResults')) {
-                my $record = GetMarcBiblio($res->{'biblionumber'});
-                $res->{coins} = GetCOinSBiblio($record);
+                my $biblio = Koha::Biblios->find( $res->{'biblionumber'} );
+                # Catch the exception as Koha::Biblio::Metadata->record can explode if the MARCXML is invalid
+                $res->{coins} = $biblio ? eval {$biblio->get_coins} : q{}; # FIXME This should be moved at the beginning of the @newresults loop
             }
             if ( C4::Context->preference( "Babeltheque" ) and $res->{normalized_isbn} ) {
                 if( my $isbn = Business::ISBN->new( $res->{normalized_isbn} ) ) {
@@ -684,13 +713,21 @@ for (my $i=0;$i<@servers;$i++) {
                 }
             }
 
+            $res->{shelves} = Koha::Virtualshelves->get_shelves_containing_record(
+                {
+                    biblionumber   => $res->{biblionumber},
+                    borrowernumber => $borrowernumber
+                }
+            );
+
             if ( C4::Context->preference('OpacStarRatings') eq 'all' ) {
-                my $rating = GetRating( $res->{'biblionumber'}, $borrowernumber );
-                $res->{'rating_value'}  = $rating->{'rating_value'};
-                $res->{'rating_total'}  = $rating->{'rating_total'};
-                $res->{'rating_avg'}    = $rating->{'rating_avg'};
-                $res->{'rating_avg_int'} = $rating->{'rating_avg_int'};
+                my $ratings = Koha::Ratings->search({ biblionumber => $res->{biblionumber} });
+                $res->{ratings} = $ratings;
+                $res->{my_rating} = $borrowernumber ? $ratings->search({ borrowernumber => $borrowernumber })->next : undef;
             }
+
+            # BZ17530: 'Intelligent' guess if result can be article requested
+            $res->{artreqpossible} = ( $art_req_itypes->{ $res->{itemtype} // q{} } || $art_req_itypes->{ '*' } ) ? 1 : q{};
         }
 
         if ($results_hashref->{$server}->{"hits"}){
@@ -730,7 +767,7 @@ for (my $i=0;$i<@servers;$i++) {
         }
 
         ## If there's just one result, redirect to the detail page
-        if ($total == 1 && $format ne 'rss2'
+        if ($total == 1 && $format ne 'rss'
         && $format ne 'opensearchdescription' && $format ne 'atom') {
             my $biblionumber=$newresults[0]->{biblionumber};
             if (C4::Context->preference('BiblioDefaultView') eq 'isbd') {
@@ -743,23 +780,20 @@ for (my $i=0;$i<@servers;$i++) {
             exit;
         }
         if ($hits) {
-            if ( !$build_grouped_results ) {
-                # We build the encrypted list of first OPACnumSearchResults biblios to pass with the search criteria for paging on opac-detail
-                $pasarParams .= '&amp;listBiblios=';
-                my $j = 0;
-                foreach (@newresults) {
-                    my $bibnum = ($_->{biblionumber})?$_->{biblionumber}:0;
-                    $pasarParams .= uri_escape_utf8($bibnum) . ',';
-                    $j++;
-                    last if ($j == $results_per_page);
-                }
-                chop $pasarParams if ($pasarParams =~ /,$/);
-                $pasarParams .= '&amp;total=' . uri_escape_utf8( int($total) ) if ($pasarParams !~ /total=(?:[0-9]+)?/);
-                if ($pasarParams) {
-                    my $session = get_session($cgi->cookie("CGISESSID"));
-                    $session->param('busc' => $pasarParams);
-                }
-                #
+            # We build the encrypted list of first OPACnumSearchResults biblios to pass with the search criteria for paging on opac-detail
+            $pasarParams .= '&amp;listBiblios=';
+            my $j = 0;
+            foreach (@newresults) {
+                my $bibnum = ($_->{biblionumber})?$_->{biblionumber}:0;
+                $pasarParams .= uri_escape_utf8($bibnum) . ',';
+                $j++;
+                last if ($j == $results_per_page);
+            }
+            chop $pasarParams if ($pasarParams =~ /,$/);
+            $pasarParams .= '&amp;total=' . uri_escape_utf8( int($total) ) if ($pasarParams !~ /total=(?:[0-9]+)?/);
+            if ($pasarParams) {
+                my $session = get_session($cgi->cookie("CGISESSID"));
+                $session->param('busc' => $pasarParams);
             }
             $template->param(total => $hits);
             my $limit_cgi_not_availablity = $limit_cgi;
@@ -775,7 +809,6 @@ for (my $i=0;$i<@servers;$i++) {
             if ($query_desc || $limit_desc) {
                 $template->param(searchdesc => 1);
             }
-            $template->param(stopwords_removed => "@$stopwords_removed") if $stopwords_removed;
             $template->param(results_per_page =>  $results_per_page);
             my $hide = C4::Context->preference('OpacHiddenItems');
             $hide = ($hide =~ m/\S/) if $hide; # Just in case it has some spaces/new lines
@@ -789,12 +822,12 @@ for (my $i=0;$i<@servers;$i++) {
                     ||
                     C4::Context->preference('HighlightOwnItemsOnOPACWhich') eq 'OpacURLBranch'
                 ) {
-                    my $branchname;
+                    my $branchcode;
                     if ( C4::Context->preference('HighlightOwnItemsOnOPACWhich') eq 'PatronBranch' ) {
-                        $branchname = $branches->{$branch}->{'branchname'};
+                        $branchcode = $branch;
                     }
                     elsif (  C4::Context->preference('HighlightOwnItemsOnOPACWhich') eq 'OpacURLBranch' ) {
-                        $branchname = $branches->{ $ENV{'BRANCHCODE'} }->{'branchname'};
+                        $branchcode = $ENV{'BRANCHCODE'};
                     }
 
                     foreach my $res ( @newresults ) {
@@ -802,7 +835,7 @@ for (my $i=0;$i<@servers;$i++) {
                         my @top_loop;
                         my @old_loop = @{$res->{'available_items_loop'}};
                         foreach my $item ( @old_loop ) {
-                            if ( $item->{'branchname'} eq $branchname ) {
+                            if ( $item->{'branchcode'} eq $branchcode ) {
                                 $item->{'this_branch'} = 1;
                                 push( @top_loop, $item );
                             } else {
@@ -820,64 +853,24 @@ for (my $i=0;$i<@servers;$i++) {
                 OPACItemsResultsDisplay => (C4::Context->preference("OPACItemsResultsDisplay")),
                 suppress_result_number => $hide,
                             );
-           if (C4::Context->preference("OPACLocalCoverImages")){
-               $template->param(OPACLocalCoverImages => 1);
-               $template->param(OPACLocalCoverImagesPriority => C4::Context->preference("OPACLocalCoverImagesPriority"));
-           }
-            ## Build the page numbers on the bottom of the page
-            my @page_numbers;
-            # total number of pages there will be
-            my $pages = ceil($hits / $results_per_page);
-            # default page number
-            my $current_page_number = 1;
-            if ($offset) {
-                $current_page_number = ( $offset / $results_per_page + 1 );
-            }
-            my $previous_page_offset;
-            if ( $offset >= $results_per_page ) {
-                $previous_page_offset = $offset - $results_per_page;
+            if (C4::Context->preference("OPACLocalCoverImages")){
+            $template->param(OPACLocalCoverImages => 1);
+            $template->param(OPACLocalCoverImagesPriority => C4::Context->preference("OPACLocalCoverImagesPriority"));
             }
-            my $next_page_offset = $offset + $results_per_page;
-            # If we're within the first 10 pages, keep it simple
-            #warn "current page:".$current_page_number;
-            if ($current_page_number < 10) {
-                # just show the first 10 pages
-                # Loop through the pages
-                my $pages_to_show = 10;
-                $pages_to_show = $pages if $pages<10;
-                for ($i=1; $i<=$pages_to_show;$i++) {
-                    # the offset for this page
-                    my $this_offset = (($i*$results_per_page)-$results_per_page);
-                    # the page number for this page
-                    my $this_page_number = $i;
-                    # put it in the array
-                    push @page_numbers,
-                      { offset    => $this_offset,
-                        pg        => $this_page_number,
-                        highlight => $this_page_number == $current_page_number,
-                        sort_by   => join ' ', @sort_by
-                      };
-
-                }
-                        
-            }
-            # now, show twenty pages, with the current one smack in the middle
-            else {
-                for ($i=$current_page_number; $i<=($current_page_number + 20 );$i++) {
-                    my $this_offset = ((($i-9)*$results_per_page)-$results_per_page);
-                    my $this_page_number = $i-9;
-                    if ( $this_page_number <= $pages ) {
-                        push @page_numbers,
-                          { offset    => $this_offset,
-                            pg        => $this_page_number,
-                            highlight => $this_page_number == $current_page_number,
-                            sort_by => join ' ', @sort_by
-                          };
+            ## Build the page numbers on the bottom of the page
+            my ( $page_numbers, $hits_to_paginate, $pages, $current_page_number, $previous_page_offset, $next_page_offset, $last_page_offset ) =
+                Koha::SearchEngine::Search->pagination_bar(
+                    {
+                        hits              => $hits,
+                        max_result_window => $searcher->max_result_window,
+                        results_per_page  => $results_per_page,
+                        offset            => $offset,
+                        sort_by           => \@sort_by
                     }
-                }
-                        
-            }
-            $template->param(   PAGE_NUMBERS => \@page_numbers,
+                );
+            $template->param( hits_to_paginate => $hits_to_paginate );
+            $template->param(   PAGE_NUMBERS => $page_numbers,
+                                last_page_offset => $last_page_offset,
                                 previous_page_offset => $previous_page_offset) unless $pages < 2;
             $template->param(next_page_offset => $next_page_offset) unless $pages eq $current_page_number;
         }
@@ -887,7 +880,6 @@ for (my $i=0;$i<@servers;$i++) {
             if ($nohits and $nohits=~/{QUERY_KW}/){
                 # extracting keywords in case of relaunching search
                 (my $query_kw=$query_desc)=~s/ and|or / /g;
-                $query_kw = Encode::decode_utf8($query_kw);
                 my @query_kw=($query_kw=~ /([-\w]+\b)(?:[^,:]|$)/g);
                 $query_kw=join('+',@query_kw);
                 $nohits=~s/{QUERY_KW}/$query_kw/g;
@@ -920,7 +912,6 @@ for (my $i=0;$i<@servers;$i++) {
     # FIXME: can add support for other targets as needed here
     $template->param(           outer_sup_results_loop => \@sup_results_array);
 } #/end of the for loop
-#$template->param(FEDERATED_RESULTS => \@results_array);
 
 for my $facet ( @$facets ) {
     for my $entry ( @{ $facet->{facets} } ) {
@@ -946,33 +937,34 @@ if ($query_desc || $limit_desc) {
 }
 
 # VI. BUILD THE TEMPLATE
-# Build drop-down list for 'Add To:' menu...
-my ($totalref, $pubshelves, $barshelves)=
-       C4::VirtualShelves::GetSomeShelfNames($borrowernumber,'COMBO',1);
-$template->param(
-       addbarshelves     => $totalref->{bartotal},
-       addbarshelvesloop => $barshelves,
-       addpubshelves     => $totalref->{pubtotal},
-       addpubshelvesloop => $pubshelves,
-       );
+my $some_private_shelves = Koha::Virtualshelves->get_some_shelves(
+    {
+        borrowernumber => $borrowernumber,
+        add_allowed    => 1,
+        category       => 1,
+    }
+);
+my $some_public_shelves = Koha::Virtualshelves->get_some_shelves(
+    {
+        borrowernumber => $borrowernumber,
+        add_allowed    => 1,
+        category       => 2,
+    }
+);
 
-my $content_type = ($format eq 'rss' or $format eq 'atom') ? $format : 'html';
+$template->param(
+    add_to_some_private_shelves => $some_private_shelves,
+    add_to_some_public_shelves  => $some_public_shelves,
+);
 
-# If GoogleIndicTransliteration system preference is On Set paramter to load Google's javascript in OPAC search screens 
-if (C4::Context->preference('GoogleIndicTransliteration')) {
-        $template->param('GoogleIndicTransliteration' => 1);
-}
+my $content_type = ($format eq 'rss' or $format eq 'atom' or $format eq 'opensearchdescription') ? $format : 'html';
 
 $template->{VARS}->{DidYouMean} =
   ( defined C4::Context->preference('OPACdidyoumean')
       && C4::Context->preference('OPACdidyoumean') =~ m/enable/ );
-$template->{VARS}->{IDreamBooksReviews} = C4::Context->preference('IDreamBooksReviews');
-$template->{VARS}->{IDreamBooksReadometer} = C4::Context->preference('IDreamBooksReadometer');
-$template->{VARS}->{IDreamBooksResults} = C4::Context->preference('IDreamBooksResults');
 
-if ($offset == 0 && IsOverDriveEnabled()) {
-    $template->param(OverDriveEnabled => 1);
-    $template->param(OverDriveLibraryID => C4::Context->preference('OverDriveLibraryID'));
+if ($offset == 0) {
+    $template->param(firstPage => 1);
 }
 
     $template->param( borrowernumber    => $borrowernumber);