Bug 32336: (QA follow-up) Use $metadata->schema
[srvgit] / catalogue / search.pl
index 1309563..bf22591 100755 (executable)
@@ -7,18 +7,18 @@
 #
 # This file is part of Koha
 #
-# Koha is free software; you can redistribute it and/or modify it under the
-# terms of the GNU General Public License as published by the Free Software
-# Foundation; either version 2 of the License, or (at your option) any later
-# version.
+# Koha is free software; you can redistribute it and/or modify it
+# under the terms of the GNU General Public License as published by
+# the Free Software Foundation; either version 3 of the License, or
+# (at your option) any later version.
 #
-# Koha is distributed in the hope that it will be useful, but WITHOUT ANY
-# WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
-# A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
+# Koha is distributed in the hope that it will be useful, but
+# WITHOUT ANY WARRANTY; without even the implied warranty of
+# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
+# GNU General Public License for more details.
 #
-# You should have received a copy of the GNU General Public License along
-# with Koha; if not, write to the Free Software Foundation, Inc.,
-# 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
+# You should have received a copy of the GNU General Public License
+# along with Koha; if not, see <http://www.gnu.org/licenses>.
 
 =head1 NAME
 
@@ -94,7 +94,7 @@ weighting, koha-specific relevance ranking, and stemming. When I have a chance
 I'll try to flesh out this section to better explain.
 
 This query incorporates query profiles that aren't compatible with most non-Zebra 
-Z39.50 targets to acomplish the field weighting and relevance ranking.
+Z39.50 targets to accomplish the field weighting and relevance ranking.
 
 =item 2 $simple_query - a simple query that doesn't contain the field weighting,
 stemming, etc., suitable to pass off to other search targets
@@ -132,8 +132,7 @@ Not yet completed...
 
 =cut
 
-use strict;            # always use
-#use warnings; FIXME - Bug 2505
+use Modern::Perl;
 
 ## STEP 1. Load things that are used in both search page and
 # results page and decide which template to load, operations 
@@ -141,34 +140,48 @@ use strict;            # always use
 
 ## load Koha modules
 use C4::Context;
-use C4::Output;
-use C4::Auth qw(:DEFAULT get_session);
-use C4::Search;
-use C4::Languages qw(getLanguages);
-use C4::Koha;
-use C4::Members qw(GetMember);
-use C4::VirtualShelves;
+use C4::Output qw( output_html_with_http_headers pagination_bar );
+use C4::Circulation qw( barcodedecode );
+use C4::Auth qw( get_template_and_user );
+use C4::Search qw( searchResults enabled_staff_search_views z3950_search_args new_record_from_zebra );
+use C4::Languages qw( getlanguage getLanguages );
+use C4::Koha qw( getitemtypeimagelocation GetAuthorisedValues );
 use URI::Escape;
 use POSIX qw(ceil floor);
-use String::Random;
-use C4::Branch; # GetBranches
-use C4::Search::History;
+use C4::Search qw( searchResults enabled_staff_search_views z3950_search_args new_record_from_zebra );
+
+use Koha::ItemTypes;
+use Koha::Library::Groups;
+use Koha::Patrons;
+use Koha::SearchEngine::Search;
+use Koha::SearchEngine::QueryBuilder;
+use Koha::Virtualshelves;
+use Koha::SearchFields;
+use Koha::SearchFilters;
 
 use URI::Escape;
+use JSON qw( decode_json encode_json );
 
 my $DisplayMultiPlaceHold = C4::Context->preference("DisplayMultiPlaceHold");
 # create a new CGI object
 # FIXME: no_undef_params needs to be tested
 use CGI qw('-no_undef_params' -utf8 );
-my $cgi = new CGI;
+my $cgi = CGI->new;
 
-my ($template,$borrowernumber,$cookie);
 # decide which template to use
 my $template_name;
 my $template_type;
-my @params = $cgi->param("limit");
-if ((@params>=1) || ($cgi->param("q")) || ($cgi->param('multibranchlimit')) || ($cgi->param('limit-yr')) ) {
+# limits are used to limit to results to a pre-defined category such as branch or language
+my @limits = map uri_unescape($_), $cgi->multi_param("limit");
+my @nolimits = map uri_unescape($_), $cgi->multi_param('nolimit');
+my %is_nolimit = map { $_ => 1 } @nolimits;
+@limits = grep { not $is_nolimit{$_} } @limits;
+if  (
+        !$cgi->param('edit_search') && !$cgi->param('edit_filter') &&
+        ( (@limits>=1) || (defined $cgi->param("q") && $cgi->param("q") ne "" ) || ($cgi->param('limit-yr')) )
+    ) {
     $template_name = 'catalogue/results.tt';
+    $template_type = 'results';
 }
 else {
     $template_name = 'catalogue/advsearch.tt';
@@ -179,7 +192,6 @@ my ($template, $borrowernumber, $cookie) = get_template_and_user({
     template_name => $template_name,
     query => $cgi,
     type => "intranet",
-    authnotrequired => 0,
     flagsrequired   => { catalogue => 1 },
     }
 );
@@ -189,116 +201,119 @@ my $lang = C4::Languages::getlanguage($cgi);
 if (C4::Context->preference("marcflavour") eq "UNIMARC" ) {
     $template->param('UNIMARC' => 1);
 }
-if (C4::Context->preference("IntranetNumbersPreferPhrase")) {
-    $template->param('numbersphr' => 1);
-}
 
 if($cgi->cookie("holdfor")){ 
-    my $holdfor_patron = GetMember('borrowernumber' => $cgi->cookie("holdfor"));
+    my $holdfor_patron = Koha::Patrons->find( $cgi->cookie("holdfor") );
+    if ( $holdfor_patron ) { # may have been deleted in the meanwhile
+        $template->param(
+            holdfor        => $cgi->cookie("holdfor"),
+            holdfor_patron => $holdfor_patron,
+        );
+    }
+}
+
+if($cgi->cookie("holdforclub")){
+    my $holdfor_club = Koha::Clubs->find( $cgi->cookie("holdforclub") );
+    if ( $holdfor_club ) { # May have been deleted in the meanwhile
+        $template->param(
+            holdforclub => $cgi->cookie("holdforclub"),
+            holdforclub_name => $holdfor_club->name,
+        );
+    }
+}
+
+if($cgi->cookie("searchToOrder")){
+    my ( $basketno, $vendorid ) = split( /\//, $cgi->cookie("searchToOrder") );
     $template->param(
-        holdfor => $cgi->cookie("holdfor"),
-        holdfor_surname => $holdfor_patron->{'surname'},
-        holdfor_firstname => $holdfor_patron->{'firstname'},
-        holdfor_cardnumber => $holdfor_patron->{'cardnumber'},
+        searchtoorder_basketno => $basketno,
+        searchtoorder_vendorid => $vendorid
     );
 }
 
-## URI Re-Writing
-# Deprecated, but preserved because it's interesting :-)
-# The same thing can be accomplished with mod_rewrite in
-# a more elegant way
-#
-#my $rewrite_flag;
-#my $uri = $cgi->url(-base => 1);
-#my $relative_url = $cgi->url(-relative=>1);
-#$uri.="/".$relative_url."?";
-#warn "URI:$uri";
-#my @cgi_params_list = $cgi->param();
-#my $url_params = $cgi->Vars;
-#
-#for my $each_param_set (@cgi_params_list) {
-#    $uri.= join "",  map "\&$each_param_set=".$_, split("\0",$url_params->{$each_param_set}) if $url_params->{$each_param_set};
-#}
-#warn "New URI:$uri";
-# Only re-write a URI if there are params or if it already hasn't been re-written
-#unless (($cgi->param('r')) || (!$cgi->param()) ) {
-#    print $cgi->redirect(     -uri=>$uri."&r=1",
-#                            -cookie => $cookie);
-#    exit;
-#}
-
-# load the branches
-my $branches = GetBranches();
-
-# Populate branch_loop with all branches sorted by their name.  If
-# IndependentBranches is activated, set the default branch to the borrower
-# branch, except for superlibrarian who need to search all libraries.
-my $user = C4::Context->userenv;
-my @branch_loop = map {
-     {
-        value      => $_,
-        branchname => $branches->{$_}->{branchname},
-        selected   => $user->{branch} eq $_ && C4::Branch::onlymine(),
-     }
-} sort {
-    $branches->{$a}->{branchname} cmp $branches->{$b}->{branchname}
-} keys %$branches;
-
-my $categories = GetBranchCategories('searchdomain');
-
-$template->param(branchloop => \@branch_loop, searchdomainloop => $categories);
+# get biblionumbers stored in the cart
+my @cart_list;
 
-# load the Type stuff
-my $itemtypes = GetItemTypes;
-# the index parameter is different for item-level itemtypes
-my $itype_or_itemtype = (C4::Context->preference("item-level_itypes"))?'itype':'itemtype';
-my @advancedsearchesloop;
-my $cnt;
-my $advanced_search_types = C4::Context->preference("AdvancedSearchTypes") || "itemtypes";
-my @advanced_search_types = split(/\|/, $advanced_search_types);
-
-foreach my $advanced_srch_type (@advanced_search_types) {
-    $advanced_srch_type =~ s/^\s*//;
-    $advanced_srch_type =~ s/\s*$//;
-   if ($advanced_srch_type eq 'itemtypes') {
-   # itemtype is a special case, since it's not defined in authorized values
-        my @itypesloop;
-       foreach my $thisitemtype ( sort {$itemtypes->{$a}->{'description'} cmp $itemtypes->{$b}->{'description'} } keys %$itemtypes ) {
-           my %row =(  number=>$cnt++,
-               ccl => "$itype_or_itemtype,phr",
-                code => $thisitemtype,
-                description => $itemtypes->{$thisitemtype}->{'description'},
-                imageurl=> getitemtypeimagelocation( 'intranet', $itemtypes->{$thisitemtype}->{'imageurl'} ),
-            );
-           push @itypesloop, \%row;
-       }
-        my %search_code = (  advanced_search_type => $advanced_srch_type,
-                             code_loop => \@itypesloop );
-        push @advancedsearchesloop, \%search_code;
-    } else {
-    # covers all the other cases: non-itemtype authorized values
-       my $advsearchtypes = GetAuthorisedValues($advanced_srch_type);
-        my @authvalueloop;
-       for my $thisitemtype (@$advsearchtypes) {
-               my %row =(
-                               number=>$cnt++,
-                               ccl => $advanced_srch_type,
-                code => $thisitemtype->{authorised_value},
-                description => $thisitemtype->{'lib'},
-                imageurl => getitemtypeimagelocation( 'intranet', $thisitemtype->{'imageurl'} ),
-                );
-               push @authvalueloop, \%row;
-       }
-        my %search_code = (  advanced_search_type => $advanced_srch_type,
-                             code_loop => \@authvalueloop );
-        push @advancedsearchesloop, \%search_code;
-    }
+if($cgi->cookie("intranet_bib_list")){
+    my $cart_list = $cgi->cookie("intranet_bib_list");
+    @cart_list = split(/\//, $cart_list);
 }
-$template->param(advancedsearchesloop => \@advancedsearchesloop);
+
+my @search_groups =
+  Koha::Library::Groups->get_search_groups( { interface => 'staff' } )->as_list;
+
+my $branch_limit = '';
+my $limit_param = $cgi->param('limit');
+if ( $limit_param and $limit_param =~ /branch:([\w-]+)/ ) {
+    $branch_limit = $1;
+}
+
+$template->param(
+    search_groups    => \@search_groups,
+    branch_limit     => $branch_limit
+);
+
+# load the Type stuff
+my $types = C4::Context->preference("AdvancedSearchTypes") || "itemtypes";
+my $advancedsearchesloop = prepare_adv_search_types($types);
+$template->param(advancedsearchesloop => $advancedsearchesloop);
+
+$template->param( searchid => scalar $cgi->param('searchid'), );
 
 # The following should only be loaded if we're bringing up the advanced search template
 if ( $template_type eq 'advsearch' ) {
 
+    my @operands;
+    my @operators;
+    my @indexes;
+    my $expanded = $cgi->param('expanded_options');
+    if( $cgi->param('edit_search') ){
+        @operands = $cgi->multi_param('q');
+        @operators = $cgi->multi_param('op');
+        @indexes   = $cgi->multi_param('idx');
+        $template->param(
+           sort      => $cgi->param('sort_by'),
+        );
+        # determine what to display next to the search boxes
+    } elsif ( $cgi->param('edit_filter') ){
+        my $search_filter = Koha::SearchFilters->find( $cgi->param('edit_filter') );
+        if( $search_filter ){
+            my $query = decode_json( $search_filter->query );
+            my $limits = decode_json( $search_filter->limits );
+            @operands  = @{ $query->{operands} };
+            @indexes   = @{ $query->{indexes} };
+            @operators = @{ $query->{operators} };
+            @limits    = @{ $limits->{limits} };
+            $template->param( edit_filter => $search_filter );
+        } else {
+            $template->param( unknown_filter => 1 );
+        }
+    }
+
+    while( scalar @operands < 3 ){
+        push @operands, "";
+    }
+    $template->param( operands  => \@operands );
+    $template->param( operators => \@operators );
+    $template->param( indexes   => \@indexes );
+
+    my %limit_hash;
+    foreach my $limit (@limits){
+        if ( $limit eq 'available' ){
+            $template->param( limit_available => 1 );
+        } else {
+            my ($index,$value) = split(':',$limit);
+            $value =~ s/"//g;
+            if ( $index =~ /mc-/ ){
+                $limit_hash{$index . "_" . $value} = 1;
+            } else {
+                push @{$limit_hash{$index}}, $value;
+            }
+        }
+    };
+    $template->param( limits => \%limit_hash );
+
+    $expanded = 1 if scalar @operators || scalar @limits;
+
     # load the servers (used for searching -- to do federated searching, etc.)
     my $primary_servers_loop;# = displayPrimaryServers();
     $template->param(outer_servers_loop =>  $primary_servers_loop,);
@@ -307,43 +322,15 @@ if ( $template_type eq 'advsearch' ) {
     $template->param(outer_sup_servers_loop => $secondary_servers_loop,);
 
     # set the default sorting
-    if (   C4::Context->preference('OPACdefaultSortField')
-        && C4::Context->preference('OPACdefaultSortOrder') ) {
+    if (   C4::Context->preference('defaultSortField')
+        && C4::Context->preference('defaultSortOrder') ) {
         my $default_sort_by =
             C4::Context->preference('defaultSortField') . '_'
           . C4::Context->preference('defaultSortOrder');
         $template->param( sort_by => $default_sort_by  );
     }
 
-    # determine what to display next to the search boxes (ie, boolean option
-    # shouldn't appear on the first one, scan indexes should, adding a new
-    # box should only appear on the last, etc.
-    my @search_boxes_array;
-    my $search_boxes_count = 3; # begin whith 3 boxes
-    # FIXME: all this junk can be done in TMPL using __first__ and __last__
-    for (my $i=1;$i<=$search_boxes_count;$i++) {
-        # if it's the first one, don't display boolean option, but show scan indexes
-        if ($i==1) {
-            push @search_boxes_array, {scan_index => 1};
-        }
-        # if it's the last one, show the 'add field' box
-        elsif ($i==$search_boxes_count) {
-            push @search_boxes_array,
-                {
-                boolean => 1,
-                add_field => 1,
-                };
-        }
-        else {
-            push @search_boxes_array,
-                {
-                boolean => 1,
-                };
-        }
-
-    }
-    $template->param(uc(C4::Context->preference("marcflavour")) => 1,
-                      search_boxes_loop => \@search_boxes_array);
+    $template->param(uc(C4::Context->preference("marcflavour")) =>1 );
 
     # load the language limits (for search)
     my $languages_limit_loop = getLanguages($lang, 1);
@@ -352,7 +339,6 @@ if ( $template_type eq 'advsearch' ) {
     # Expanded search options in advanced search:
     # use the global setting by default, but let the user override it
     {
-        my $expanded = $cgi->param('expanded_options');
         $expanded = C4::Context->preference("expandedSearchOption") || 0
             if !defined($expanded) || $expanded !~ /^0|1$/;
         $template->param( expanded_options => $expanded );
@@ -371,7 +357,6 @@ if ( $template_type eq 'advsearch' ) {
 #  * we can edit the values by changing the key
 #  * multivalued CGI paramaters are returned as a packaged string separated by "\0" (null)
 my $params = $cgi->Vars;
-
 # Params that can have more than one value
 # sort by is used to sort the query
 # in theory can have more than one but generally there's just one
@@ -384,7 +369,7 @@ if (   C4::Context->preference('defaultSortField')
       . C4::Context->preference('defaultSortOrder');
 }
 
-@sort_by = $cgi->param('sort_by');
+@sort_by = $cgi->multi_param('sort_by');
 $sort_by[0] = $default_sort_by unless $sort_by[0];
 foreach my $sort (@sort_by) {
     $template->param($sort => 1) if $sort;
@@ -392,7 +377,7 @@ foreach my $sort (@sort_by) {
 $template->param('sort_by' => $sort_by[0]);
 
 # Use the servers defined, or just search our local catalog(default)
-my @servers = $cgi->param('server');
+my @servers = $cgi->multi_param('server');
 unless (@servers) {
     #FIXME: this should be handled using Context.pm
     @servers = ("biblioserver");
@@ -400,31 +385,30 @@ unless (@servers) {
 }
 # operators include boolean and proximity operators and are used
 # to evaluate multiple operands
-my @operators = map uri_unescape($_), $cgi->param('op');
+my @operators = map uri_unescape($_), $cgi->multi_param('op');
 
 # indexes are query qualifiers, like 'title', 'author', etc. They
 # can be single or multiple parameters separated by comma: kw,right-Truncation 
-my @indexes = map uri_unescape($_), $cgi->param('idx');
+my @indexes = map uri_unescape($_), $cgi->multi_param('idx');
 
 # if a simple index (only one)  display the index used in the top search box
 if ($indexes[0] && (!$indexes[1] || $params->{'scan'})) {
     my $idx = "ms_".$indexes[0];
-    $idx =~ s/\,/comma/g;  # template toolkit doesnt like variables with a , in it
-    $template->param($idx => 1);
+    $idx =~ s/\,/comma/g;  # template toolkit doesn't like variables with a , in it
+    $idx =~ s/-/dash/g;  # template toolkit doesn't like variables with a dash in it
+    $template->param(header_pulldown => $idx);
 }
 
 # an operand can be a single term, a phrase, or a complete ccl query
-my @operands = map Encode::decode_utf8( uri_unescape($_) ), $cgi->param('q');
-
-# limits are use to limit to results to a pre-defined category such as branch or language
-my @limits = map uri_unescape($_), $cgi->param('limit');
-my @nolimits = map uri_unescape($_), $cgi->param('nolimit');
-my %is_nolimit = map { $_ => 1 } @nolimits;
-@limits = grep { not $is_nolimit{$_} } @limits;
-
-if($params->{'multibranchlimit'}) {
-    my $multibranch = '('.join( " or ", map { "branch: $_ " } @{ GetBranchesInCategory( $params->{'multibranchlimit'} ) } ).')';
-    push @limits, $multibranch if ($multibranch ne  '()');
+my @operands = map uri_unescape($_), $cgi->multi_param('q');
+
+# if a simple search, display the value in the search box
+my $basic_search = 0;
+if ($operands[0] && !$operands[1]) {
+    my $ms_query = $operands[0];
+    $ms_query =~ s/ #\S+//;
+    $template->param(ms_value => $ms_query);
+    $basic_search=1;
 }
 
 my $available;
@@ -439,13 +423,8 @@ $template->param(available => $available);
 my $limit_yr;
 my $limit_yr_value;
 if ($params->{'limit-yr'}) {
-    if ($params->{'limit-yr'} =~ /\d{4}-\d{4}/) {
-        my ($yr1,$yr2) = split(/-/, $params->{'limit-yr'});
-        $limit_yr = "yr,st-numeric,ge=$yr1 and yr,st-numeric,le=$yr2";
-        $limit_yr_value = "$yr1-$yr2";
-    }
-    elsif ($params->{'limit-yr'} =~ /\d{4}/) {
-        $limit_yr = "yr,st-numeric=$params->{'limit-yr'}";
+    if ($params->{'limit-yr'} =~ /\d{4}/) {
+        $limit_yr = "yr,st-numeric:$params->{'limit-yr'}";
         $limit_yr_value = $params->{'limit-yr'};
     }
     push @limits,$limit_yr;
@@ -476,71 +455,106 @@ my $scan = $params->{'scan'};
 my $count = C4::Context->preference('numSearchResults') || 20;
 my $results_per_page = $params->{'count'} || $count;
 my $offset = $params->{'offset'} || 0;
+my $whole_record = $params->{'whole_record'} || 0;
+my $weight_search = $params->{'advsearch'} ? $params->{'weight_search'} || 0 : 1;
+$offset = 0 if $offset < 0;
 my $page = $cgi->param('page') || 1;
 #my $offset = ($page-1)*$results_per_page;
-my $hits;
-my $expanded_facet = $params->{'expand'};
 
 # Define some global variables
-my ( $error,$query,$simple_query,$query_cgi,$query_desc,$limit,$limit_cgi,$limit_desc,$stopwords_removed,$query_type);
+my ( $error,$query,$simple_query,$query_cgi,$query_desc,$limit,$limit_cgi,$limit_desc,$query_type);
 
-my @results;
+my $builder = Koha::SearchEngine::QueryBuilder->new(
+    { index => $Koha::SearchEngine::BIBLIOS_INDEX } );
+my $searcher = Koha::SearchEngine::Search->new(
+    { index => $Koha::SearchEngine::BIBLIOS_INDEX } );
+
+# If index indicates the value is a barocode, we need to preproccess it before searching
+for ( my $i = 0; $i < @operands; $i++ ) {
+    $operands[$i] = barcodedecode($operands[$i]) if $indexes[$i] eq 'bc';
+}
 
 ## I. BUILD THE QUERY
-( $error,$query,$simple_query,$query_cgi,$query_desc,$limit,$limit_cgi,$limit_desc,$stopwords_removed,$query_type) = buildQuery(\@operators,\@operands,\@indexes,\@limits,\@sort_by,$scan,$lang);
+(
+    $error,             $query, $simple_query, $query_cgi,
+    $query_desc,        $limit, $limit_cgi,    $limit_desc,
+    $query_type
+  )
+  = $builder->build_query_compat( \@operators, \@operands, \@indexes, \@limits,
+    \@sort_by, $scan, $lang, { weighted_fields => $weight_search, whole_record => $whole_record });
+
+$template->param( search_query => $query ) if C4::Context->preference('DumpSearchQueryTemplate');
 
 ## parse the query_cgi string and put it into a form suitable for <input>s
 my @query_inputs;
 my $scan_index_to_use;
-
-for my $this_cgi ( split('&',$query_cgi) ) {
-    next unless $this_cgi;
-    $this_cgi =~ m/(.*?)=(.*)/;
-    my $input_name = $1;
-    my $input_value = $2;
-    push @query_inputs, { input_name => $input_name, input_value => Encode::decode_utf8( uri_unescape( $input_value ) ) };
-    if ($input_name eq 'idx') {
-        $scan_index_to_use = $input_value; # unless $scan_index_to_use;
+my $scan_search_term_to_use;
+
+if ($query_cgi) {
+    for my $this_cgi ( split('&', $query_cgi) ) {
+        next unless $this_cgi;
+        $this_cgi =~ m/(.*?)=(.*)/;
+        my $input_name = $1;
+        my $input_value = $2;
+        push @query_inputs, { input_name => $input_name, input_value => Encode::decode_utf8( uri_unescape( $input_value ) ) };
+        if ($input_name eq 'idx') {
+            # The form contains multiple fields, so take the first value as the scan index
+            $scan_index_to_use = $input_value unless $scan_index_to_use;
+        }
+        if (!defined $scan_search_term_to_use && $input_name eq 'q') {
+            $scan_search_term_to_use = Encode::decode_utf8( uri_unescape( $input_value ));
+        }
     }
 }
+
 $template->param ( QUERY_INPUTS => \@query_inputs,
-                   scan_index_to_use => $scan_index_to_use );
+                   scan_index_to_use => $scan_index_to_use,
+                   scan_search_term_to_use => $scan_search_term_to_use );
 
 ## parse the limit_cgi string and put it into a form suitable for <input>s
 my @limit_inputs;
-for my $this_cgi ( split('&',$limit_cgi) ) {
-    next unless $this_cgi;
-    # handle special case limit-yr
-    if ($this_cgi =~ /yr,st-numeric/) {
-        push @limit_inputs, { input_name => 'limit-yr', input_value => $limit_yr_value };   
-        next;
+my %active_filters;
+if ($limit_cgi) {
+    for my $this_cgi ( split('&', $limit_cgi) ) {
+        next unless $this_cgi;
+        # handle special case limit-yr
+        if ($this_cgi =~ /yr,st-numeric/) {
+            push @limit_inputs, { input_name => 'limit-yr', input_value => $limit_yr_value };
+            next;
+        }
+        $this_cgi =~ m/(.*=)(.*)/;
+        my $input_name = $1;
+        my $input_value = $2;
+        $input_name =~ s/=$//;
+        push @limit_inputs, { input_name => $input_name, input_value => Encode::decode_utf8( uri_unescape($input_value) ) };
+        if( $input_value =~ /search_filter/ ){
+            my ($filter_id) = ( uri_unescape($input_value) =~ /^search_filter:(.*)$/ );
+            $active_filters{$filter_id} = 1;
+        }
+
     }
-    $this_cgi =~ m/(.*=)(.*)/;
-    my $input_name = $1;
-    my $input_value = $2;
-    $input_name =~ s/=$//;
-    push @limit_inputs, { input_name => $input_name, input_value => Encode::decode_utf8( uri_unescape($input_value) ) };
 }
 $template->param ( LIMIT_INPUTS => \@limit_inputs );
 
 ## II. DO THE SEARCH AND GET THE RESULTS
-my $total; # the total results for the whole set
+my $total = 0; # the total results for the whole set
 my $facets; # this object stores the faceted results that display on the left-hand of the results page
-my @results_array;
 my $results_hashref;
 
 eval {
-    ($error, $results_hashref, $facets) = getRecords($query,$simple_query,\@sort_by,\@servers,$results_per_page,$offset,$expanded_facet,$branches,$itemtypes,$query_type,$scan);
+    my $itemtypes = { map { $_->{itemtype} => $_ } @{ Koha::ItemTypes->search_with_localization->unblessed } };
+    ( $error, $results_hashref, $facets ) = $searcher->search_compat(
+        $query,            $simple_query, \@sort_by,       \@servers,
+        $results_per_page, $offset,       undef,           $itemtypes,
+        $query_type,       $scan
+    );
 };
 
-# This sorts the facets into alphabetical order
-if ($facets) {
-    foreach my $f (@$facets) {
-        $f->{facets} = [ sort { uc($a->{facet_title_value}) cmp uc($b->{facet_title_value}) } @{ $f->{facets} } ];
-    }
-}
 if ($@ || $error) {
-    $template->param(query_error => $error.$@);
+    my $query_error = q{};
+    $query_error .= $error if $error;
+    $query_error .= $@ if $@;
+    $template->param(query_error => $query_error);
     output_html_with_http_headers $cgi, $cookie, $template->output;
     exit;
 }
@@ -551,11 +565,36 @@ my @sup_results_array;
 for (my $i=0;$i<@servers;$i++) {
     my $server = $servers[$i];
     if ($server =~/biblioserver/) { # this is the local bibliographic server
-        $hits = $results_hashref->{$server}->{"hits"};
+        my $hits = $results_hashref->{$server}->{"hits"} // 0;
+        if ( $hits == 0 && $basic_search ){
+            $operands[0] = '"'.$operands[0].'"'; #quote it
+            ## I. BUILD THE QUERY
+            (
+                $error,             $query, $simple_query, $query_cgi,
+                $query_desc,        $limit, $limit_cgi,    $limit_desc,
+                $query_type
+              )
+              = $builder->build_query_compat( \@operators, \@operands, \@indexes, \@limits,
+                \@sort_by, $scan, $lang, { weighted_fields => $weight_search, whole_record => $whole_record });
+            my $quoted_results_hashref;
+            eval {
+                my $itemtypes = { map { $_->{itemtype} => $_ } @{ Koha::ItemTypes->search_with_localization->unblessed } };
+                ( $error, $quoted_results_hashref, $facets ) = $searcher->search_compat(
+                    $query,            $simple_query, \@sort_by,       ['biblioserver'],
+                    $results_per_page, $offset,       undef,           $itemtypes,
+                    $query_type,       $scan
+                );
+            };
+            my $quoted_hits = $quoted_results_hashref->{$server}->{"hits"} // 0;
+            if ( $quoted_hits ){
+                $results_hashref->{'biblioserver'} = $quoted_results_hashref->{'biblioserver'};
+                $hits = $quoted_hits;
+            }
+        }
         my $page = $cgi->param('page') || 0;
-        my @newresults = searchResults('intranet', $query_desc, $hits, $results_per_page, $offset, $scan,
+        my @newresults = searchResults({ 'interface' => 'intranet' }, $query_desc, $hits, $results_per_page, $offset, $scan,
                                        $results_hashref->{$server}->{"RECORDS"});
-        $total = $total + $results_hashref->{$server}->{"hits"};
+        $total = $total + $hits;
 
         # Search history
         if (C4::Context->preference('EnableSearchHistory')) {
@@ -580,19 +619,19 @@ for (my $i=0;$i<@servers;$i++) {
             $template->param( EnableSearchHistory => 1 );
         }
 
-        ## If there's just one result, redirect to the detail page
-        if ($total == 1) {         
+        ## If there's just one result, redirect to the detail page unless doing an index scan
+        if ($total == 1 && !$scan) {
             my $biblionumber = $newresults[0]->{biblionumber};
             my $defaultview = C4::Context->preference('IntranetBiblioDefaultView');
             my $views = { C4::Search::enabled_staff_search_views };
             if ($defaultview eq 'isbd' && $views->{can_view_ISBD}) {
-                print $cgi->redirect("/cgi-bin/koha/catalogue/ISBDdetail.pl?biblionumber=$biblionumber");
+                print $cgi->redirect("/cgi-bin/koha/catalogue/ISBDdetail.pl?biblionumber=$biblionumber&found1=1");
             } elsif  ($defaultview eq 'marc' && $views->{can_view_MARC}) {
-                print $cgi->redirect("/cgi-bin/koha/catalogue/MARCdetail.pl?biblionumber=$biblionumber");
+                print $cgi->redirect("/cgi-bin/koha/catalogue/MARCdetail.pl?biblionumber=$biblionumber&found1=1");
             } elsif  ($defaultview eq 'labeled_marc' && $views->{can_view_labeledMARC}) {
-                print $cgi->redirect("/cgi-bin/koha/catalogue/labeledMARCdetail.pl?biblionumber=$biblionumber");
+                print $cgi->redirect("/cgi-bin/koha/catalogue/labeledMARCdetail.pl?biblionumber=$biblionumber&found1=1");
             } else {
-                print $cgi->redirect("/cgi-bin/koha/catalogue/detail.pl?biblionumber=$biblionumber");
+                print $cgi->redirect("/cgi-bin/koha/catalogue/detail.pl?biblionumber=$biblionumber&found1=1");
             } 
             exit;
         }
@@ -600,84 +639,58 @@ for (my $i=0;$i<@servers;$i++) {
         # set up parameters if user wishes to re-run the search
         # as a Z39.50 search
         $template->param (z3950_search_params => C4::Search::z3950_search_args($z3950par || $query_desc));
+        $template->param(limit_cgi => $limit_cgi);
+        $template->param(query_cgi => $query_cgi);
+        $template->param(query_json => encode_json({
+            operators => \@operators,
+            operands => \@operands,
+            indexes => \@indexes
+        }));
+        $template->param(limit_json => encode_json({
+            limits => \@limits
+        }));
+        $template->param(query_desc => $query_desc);
+        $template->param(limit_desc => $limit_desc);
+        $template->param(offset     => $offset);
+        $template->param(offset     => $offset);
+
 
         if ($hits) {
             $template->param(total => $hits);
-            my $limit_cgi_not_availablity = $limit_cgi;
-            $limit_cgi_not_availablity =~ s/&limit=available//g;
-            $template->param(limit_cgi_not_availablity => $limit_cgi_not_availablity);
-            $template->param(limit_cgi => $limit_cgi);
-            $template->param(query_cgi => $query_cgi);
-            $template->param(query_desc => $query_desc);
-            $template->param(limit_desc => $limit_desc);
-            $template->param(offset     => $offset);
+            if ($limit_cgi) {
+                my $limit_cgi_not_availablity = $limit_cgi;
+                $limit_cgi_not_availablity =~ s/&limit=available//g;
+                $template->param(limit_cgi_not_availablity => $limit_cgi_not_availablity);
+            }
             $template->param(DisplayMultiPlaceHold => $DisplayMultiPlaceHold);
             if ($query_desc || $limit_desc) {
                 $template->param(searchdesc => 1);
             }
-            $template->param(stopwords_removed => "@$stopwords_removed") if $stopwords_removed;
             $template->param(results_per_page =>  $results_per_page);
             # must define a value for size if not present in DB
             # in order to avoid problems generated by the default size value in TT
             foreach my $line (@newresults) {
                 if ( not exists $line->{'size'} ) { $line->{'size'} = "" }
-            }
-            $template->param(SEARCH_RESULTS => \@newresults);
-            ## FIXME: add a global function for this, it's better than the current global one
-            ## Build the page numbers on the bottom of the page
-            my @page_numbers;
-            # total number of pages there will be
-            my $pages = ceil($hits / $results_per_page);
-            # default page number
-            my $current_page_number = 1;
-            $current_page_number = ($offset / $results_per_page + 1) if $offset;
-            my $previous_page_offset;
-            if ( $offset >= $results_per_page ) {
-                $previous_page_offset = $offset - $results_per_page;
-            }
-            my $next_page_offset = $offset + $results_per_page;
-            # If we're within the first 10 pages, keep it simple
-            #warn "current page:".$current_page_number;
-            if ($current_page_number < 10) {
-                # just show the first 10 pages
-                # Loop through the pages
-                my $pages_to_show = 10;
-                $pages_to_show = $pages if $pages<10;
-                for (my $i=1; $i<=$pages_to_show;$i++) {
-                    # the offset for this page
-                    my $this_offset = (($i*$results_per_page)-$results_per_page);
-                    # the page number for this page
-                    my $this_page_number = $i;
-                    # put it in the array
-                    push @page_numbers,
-                      { offset    => $this_offset,
-                        pg        => $this_page_number,
-                        # it should only be highlighted if it's the current page
-                        highlight => $this_page_number == $current_page_number,
-                        sort_by   => join ' ', @sort_by
-                      };
-                                
+                # while we're checking each line, see if item is in the cart
+                if ( grep {$_ eq $line->{'biblionumber'}} @cart_list) {
+                    $line->{'incart'} = 1;
                 }
-                        
             }
-
-            # now, show twenty pages, with the current one smack in the middle
-            else {
-                for (my $i=$current_page_number; $i<=($current_page_number + 20 );$i++) {
-                    my $this_offset = ((($i-9)*$results_per_page)-$results_per_page);
-                    my $this_page_number = $i-9;
-                    if ( $this_page_number <= $pages ) {
-                        push @page_numbers,
-                          { offset    => $this_offset,
-                            pg        => $this_page_number,
-                            highlight => $this_page_number == $current_page_number,
-                            sort_by   => join ' ', @sort_by
-                          };
+            my( $page_numbers, $hits_to_paginate, $pages, $current_page_number, $previous_page_offset, $next_page_offset, $last_page_offset ) =
+                Koha::SearchEngine::Search->pagination_bar(
+                    {
+                        hits              => $hits,
+                        max_result_window => $searcher->max_result_window,
+                        results_per_page  => $results_per_page,
+                        offset            => $offset,
+                        sort_by           => \@sort_by
                     }
-                }
-            }
+                );
+            $template->param( hits_to_paginate => $hits_to_paginate );
+            $template->param(SEARCH_RESULTS => \@newresults);
             # FIXME: no previous_page_offset when pages < 2
-            $template->param(   PAGE_NUMBERS => \@page_numbers,
+            $template->param(   PAGE_NUMBERS => $page_numbers,
+                                last_page_offset => $last_page_offset,
                                 previous_page_offset => $previous_page_offset) unless $pages < 2;
             $template->param(   next_page_offset => $next_page_offset) unless $pages eq $current_page_number;
         }
@@ -712,16 +725,14 @@ for (my $i=0;$i<@servers;$i++) {
 } #/end of the for loop
 #$template->param(FEDERATED_RESULTS => \@results_array);
 
-$template->{'VARS'}->{'searchid'} = $cgi->param('searchid');
-
 my $gotonumber = $cgi->param('gotoNumber');
-if ($gotonumber eq 'last' || $gotonumber eq 'first') {
+if ( $gotonumber && ( $gotonumber eq 'last' || $gotonumber eq 'first' ) ) {
     $template->{'VARS'}->{'gotoNumber'} = $gotonumber;
 }
 $template->{'VARS'}->{'gotoPage'}   = 'detail.pl';
 my $gotopage = $cgi->param('gotoPage');
 $template->{'VARS'}->{'gotoPage'} = $gotopage
-  if $gotopage =~ m/^(ISBD|labeledMARC|MARC|more)?detail.pl$/;
+  if $gotopage && $gotopage =~ m/^(ISBD|labeledMARC|MARC|more)?detail.pl$/;
 
 for my $facet ( @$facets ) {
     for my $entry ( @{ $facet->{facets} } ) {
@@ -731,6 +742,12 @@ for my $facet ( @$facets ) {
     }
 }
 
+
+$template->param(
+    search_filters => Koha::SearchFilters->search({ staff_client => 1 }, { order_by => "name" }),
+    active_filters => \%active_filters,
+) if C4::Context->preference('SavedSearchFilters');
+
 $template->param(
             #classlist => $classlist,
             total => $total,
@@ -747,14 +764,108 @@ if ($query_desc || $limit_desc) {
 
 # VI. BUILD THE TEMPLATE
 
-# Build drop-down list for 'Add To:' menu...
-my ($totalref, $pubshelves, $barshelves)=
-       C4::VirtualShelves::GetSomeShelfNames($borrowernumber,'COMBO',1);
+my $some_private_shelves = Koha::Virtualshelves->get_some_shelves(
+    {
+        borrowernumber => $borrowernumber,
+        add_allowed    => 1,
+        public         => 0,
+    }
+);
+my $some_public_shelves = Koha::Virtualshelves->get_some_shelves(
+    {
+        borrowernumber => $borrowernumber,
+        add_allowed    => 1,
+        public         => 1,
+    }
+);
+
+
 $template->param(
-        addbarshelves     => $totalref->{bartotal},
-        addbarshelvesloop => $barshelves,
-       addpubshelves     => $totalref->{pubtotal},
-       addpubshelvesloop => $pubshelves,
-       );
+    add_to_some_private_shelves => $some_private_shelves,
+    add_to_some_public_shelves  => $some_public_shelves,
+);
 
 output_html_with_http_headers $cgi, $cookie, $template->output;
+
+
+=head2 prepare_adv_search_types
+
+    my $type = C4::Context->preference("AdvancedSearchTypes") || "itemtypes";
+    my @advanced_search_types = prepare_adv_search_types($type);
+
+Different types can be searched for in the advanced search. This takes the
+system preference that defines these types and parses it into an arrayref for
+the template.
+
+"itemtypes" is handled specially, as itemtypes aren't an authorised value.
+It also accounts for the "item-level_itypes" system preference.
+
+=cut
+
+sub prepare_adv_search_types {
+    my ($types) = @_;
+
+    my @advanced_search_types = split( /\|/, $types );
+
+    # the index parameter is different for item-level itemtypes
+    my $itype_or_itemtype =
+      ( C4::Context->preference("item-level_itypes") ) ? 'itype' : 'itemtype';
+    my $itemtypes = { map { $_->{itemtype} => $_ } @{ Koha::ItemTypes->search_with_localization->unblessed } };
+
+    my ( $cnt, @result );
+    foreach my $advanced_srch_type (@advanced_search_types) {
+        $advanced_srch_type =~ s/^\s*//;
+        $advanced_srch_type =~ s/\s*$//;
+        if ( $advanced_srch_type eq 'itemtypes' ) {
+
+       # itemtype is a special case, since it's not defined in authorized values
+            my @itypesloop;
+            foreach my $thisitemtype (
+                sort {
+                    $itemtypes->{$a}->{'translated_description'}
+                      cmp $itemtypes->{$b}->{'translated_description'}
+                } keys %$itemtypes
+              )
+            {
+                my %row = (
+                    number      => $cnt++,
+                    ccl         => "$itype_or_itemtype,phr",
+                    code        => $thisitemtype,
+                    description => $itemtypes->{$thisitemtype}->{'translated_description'},
+                    imageurl    => getitemtypeimagelocation(
+                        'intranet', $itemtypes->{$thisitemtype}->{'imageurl'}
+                    ),
+                );
+                push @itypesloop, \%row;
+            }
+            my %search_code = (
+                advanced_search_type => $advanced_srch_type,
+                code_loop            => \@itypesloop
+            );
+            push @result, \%search_code;
+        }
+        else {
+            # covers all the other cases: non-itemtype authorized values
+            my $advsearchtypes = GetAuthorisedValues($advanced_srch_type);
+            my @authvalueloop;
+            for my $thisitemtype (@$advsearchtypes) {
+                my %row = (
+                    number      => $cnt++,
+                    ccl         => $advanced_srch_type,
+                    code        => $thisitemtype->{authorised_value},
+                    description => $thisitemtype->{'lib'},
+                    imageurl    => getitemtypeimagelocation(
+                        'intranet', $thisitemtype->{'imageurl'}
+                    ),
+                );
+                push @authvalueloop, \%row;
+            }
+            my %search_code = (
+                advanced_search_type => $advanced_srch_type,
+                code_loop            => \@authvalueloop
+            );
+            push @result, \%search_code;
+        }
+    }
+    return \@result;
+}