Merge remote-tracking branch 'origin/dev/solr' into dev/stetienne

Merge remote-tracking branch 'origin/solr/ft/MT8362' into dev/solr

Solved conflicts:
authorities/blinddetail-biblio-search.pl
koha-tmpl/intranet-tmpl/prog/en/modules/authorities/blinddetail-biblio-search.tmpl

MT8362: Squash of 3 commits:

MT8362: auth_finder.pl: improve multiple subfields management

Before this patch, choosing an authority which have multiple subfields
with the same tag, values were joined in a single subfield, seperating
values with a pipe ('|').
Now, if an authority has for example two $x subfields, there will be two
$x subfields in the biblio too. The exception is when the subfield is
not repeatable in the biblio marc framework. In this case, only the
first subfield is copied.

----

MT8362: auth_finder: fix multiple subfields order

----

MT8362: auth_finder.pl: insert fields ordered

Two new javascript functions:
- clear_field: remove cloned subfield and blank all others
- add_subfield: add a new subfield to specified field

blinddetail-biblio-search.pl behaviour is modified to use these two
functions in order to have authority subfields inserted in correct order
(they are no more grouped by subfield tag)

MT8831: Fix a hash key name in opac-search.pl

getItemsInfos returns a hash with a 'availablecount' key, not
'available_count'
When hidenoitems is ON, it hides everything since equality comparison
with 0 returns true
(cherry picked from commit 7b1d61b478a726f14cfefa0471d7781236d37e70)

Merge remote-tracking branch 'origin/solr/ft/MT8884' into dev/solr

Merge remote-tracking branch 'remotes/origin/solr/ft/rpn2solr' into dev/solr

MT8884: Fix merge_authority.pl

'use Storable' in merge_authority.pl, otherwise 'retrieve' does not
work.
Pass the full filepath to retrieve, otherwise it will only work if the
script is launched from tmp/modified_authorities directory

+ use warnings
+ warn if unlink fails

Merge remote-tracking branch 'origin/dev/solr' into dev/stetienne

MT8636 display opac description in ccode limit

Merge remote-tracking branch 'origin/dev/solr' into dev/stetienne

[SOLR] RPN2Solr: MT9041: FIX Z3950 crash

Now, the z3950 server raise an error when the query is not parsed in
15 seconds

Merge remote-tracking branch 'origin/solr/ft/MT8981' into dev/solr

Merge remote-tracking branch 'origin/solr/ft/MT8577' into dev/solr

Merge remote-tracking branch 'origin/stetienne/ft/MT6927' into dev/stetienne

[SOLR] MT8577: Authorities search, 'order by' choice

- Remove 'None' option: when selected, results are order by relevance,
  so it is useless
- Add 'Name desc' and 'Usage asc' (and rename 'Name' to 'Name asc' and
  'Usage' to 'Usage desc') in "Search main heading" tab

Merge remote-tracking branch 'origin/stetienne/ft/MT8261' into dev/stetienne

Solved conflicts:
C4/Reserves.pm

[SOLR] Search: Followup Disable submit button after click

Move from .js to .inc for translate processing

Merge remote-tracking branch 'origin/dev/solr' into dev/stetienne

MT8720: Replace '&' by '%26' in redirect url (renewscript.pl)

'&' in JSON string can cause JSON parser errors

[SOLR]MT8577: auth search: select the name index by default

MT8261: Follow-up CanItemBeReserved in reserve/renewscript.pl

Tell CanItemBeReserved that it's called after AddReturn

MT6927: Fix in circ/returns.pl

Don't tell ModReserveAffect that there is a transfer to do if
HoldNextInLibrary is ON

Merge remote-tracking branch 'origin/solr/ft/indexqueue' into dev/solr

Merge remote-tracking branch 'origin/solr/ft/MT8735' into dev/solr

Merge remote-tracking branch 'origin/solr/ft/rpn2solr' into dev/solr

Merge remote-tracking branch 'origin/solr/ft/optim' into dev/solr

RPN2Solr: Adds logging for z3950 server

RPN2Solr: FIX Remove warnings

FIX Subroutine init_handler redefined
FIX Argument "th-en3s" isn't numeric in numeric eq (==) at C4/Search/Query.pm line 101.

Optim: Followup FIX Optim JS

    FIX tags

Merge remote-tracking branch 'origin/solr/ft/MT8907' into dev/solr

Conflicts solved:
installer/data/mysql/en/mandatory/sysprefs.sql
installer/data/mysql/fr-FR/1-Obligatoire/unimarc_standard_systemprefs.sql
installer/data/mysql/updatedatabase.pl
kohaversion.pl

(SOLR] IndexQueue: FIX mode on pid file

the pid file must be in mode 666 (www-data have to write into it else
caused an error from the App:Daemon module ("recordqueue.pid not writable
by user www-data"))

[SOLR] installer mappings config

[SOLR]MT8735: Followup Perfs disconnect mysql connections after end of script

If we call disconnect unless close all sth, we get a warning.
The doc say:
"This method disconnects the database from the database handle. Normally
called just before exiting the application. If you call this method
while there are active statement handles you will get a warning. Use the
finish method ($sth->finish) for each statement handle defined."

There is ~1000 sth without finish in Koha :-/

Merge remote-tracking branch 'origin/dev/solr' into dev/stetienne

Merge remote-tracking branch 'origin/solr/ft/MT9006' into dev/solr

Merge remote-tracking branch 'origin/dev/solr' into dev/stetienne

Merge remote-tracking branch 'origin/solr/ft/indexqueue' into dev/solr

[SOLR] IndexQueue: FIX exit if error in thread

[SOLR] Indexqueue : FIX add blocking

We can't wait on a "add" if Solr is indexing

Revert "[SOLR] IndexRecordQueue modification"

This reverts commit 529a024b3116c8113054571a0d3725884e42a349.

We have to sleep after read each line. Else we can't easily adjusting
with parameters max_delta, max_records and max_interval

Merge remote-tracking branch 'origin/dev/solr' into dev/stetienne

MT9006: DB connection loss: process_koc.pl

Due to a fork and the end of parent before child end, dbh can be closed
by the parent in the middle of a query executed by the child, causing
connection problems.
The fix is to explicitly close db connection at beginning of child
process to force C4::Context->dbh to create a new handle

MT9006: DB connection loss: manage-marc-import.pl

Due to a fork and the end of parent before child end, dbh can be closed
by the parent in the middle of a query executed by the child, causing
connection problems.
The fix is to explicitly close db connection at beginning of child
process to force C4::Context->dbh to create a new handle

Merge remote-tracking branch 'origin/solr/ft/MT8600' into dev/solr

Merge remote-tracking branch 'origin/solr/ft/MT8745' into dev/solr

Merge remote-tracking branch 'origin/solr/ft/MT8615' into dev/solr

MT8691: Add syspref AuthSubfieldsToCheck

This syspref is used in BiblioAddAuthority, it contains a
space-separated list of subfields to check to determine if an authority
is equivalent to fields entered by user

Merge remote-tracking branch 'origin/solr/ft/optim' into dev/solr

MT8907: new OPACNoResultsFound pref

This patch adds a new preference to allow librarians to
add content to the no results found page if they want.

Signed-off-by: Katrin Fischer <Katrin.Fischer.83@web.de>
Changed surrounding <p> in template to <div id="noresultsfound">
Will send follow up patch adding sys pref to translated sql files

CF BZ1997

MT9006: DB connection loss: stage-marc-import.pl

Due to a fork and the end of parent before child end, dbh can be closed
by the parent in the middle of a query executed by the child, causing
connection problems.
The fix is to explicitly close db connection at beginning of child
process to force C4::Context->dbh to create a new handle

Optim: Followup FIX Optim JS

FIX Bookbag

MT8600: Display itemtype icon for previous checkouts

Merge remote-tracking branch 'origin/dev/solr' into dev/stetienne

Solved conflicts:
C4/Auth_with_cas.pm

Merge remote-tracking branch 'origin/solr/ft/MT8501' into dev/solr

Merge remote-tracking branch 'origin/stetienne/ft/MT8698' into dev/stetienne

MT8698: FIX budget's selection on neworderempty

MT8261: Prevent CanItemBeReserved from checking if the book is on loan when on shelf holds are not allowed and CanItemBeReserved is called after AddReturn.

  CanItemBeReserved used to return always false in this context,
  preventing reserves to be displayed on returns.

  This bug was introduced by:

  commit adcf8f00ca1b81e51bf47e1b4e33dd92780267e4
  Author: Julian Maurice <julian.maurice@biblibre.com>
  Date: Tue Sep 27 15:45:55 2011 +0200

      MT7914: Check if item can be reserved in returns.pl too

[SOLR] Add a new search format for date

now, you can select an index and search with (1984 OR 1990 OR 2001).
See Unit Tests for more details.

MT8261: Prevent CanItemBeReserved from checking if the book is on loan when on shelf holds are not allowed and CanItemBeReserved is called after AddReturn.

  CanItemBeReserved used to return always false in this context,
  preventing reserves to be displayed on returns.

  This bug was introduced by:

  commit adcf8f00ca1b81e51bf47e1b4e33dd92780267e4
  Author: Julian Maurice <julian.maurice@biblibre.com>
  Date: Tue Sep 27 15:45:55 2011 +0200

      MT7914: Check if item can be reserved in returns.pl too

Merge remote-tracking branch 'origin/dev/solr' into dev/stetienne

[SOLR] Fix kohaversion

Merge remote-tracking branch 'origin/dev/solr' into dev/stetienne

Solved conflicts:
installer/data/mysql/en/mandatory/sysprefs.sql
installer/data/mysql/fr-FR/1-Obligatoire/unimarc_standard_systemprefs.sql
installer/data/mysql/updatedatabase.pl

Merge remote-tracking branch 'origin/solr/ft/MT8735' into dev/solr

MT4587: Add missing sysprefs

hidenoitems in updatedatabase.pl and sysprefs.sql files (en and fr)
OpacHiddenItems in sysprefs.sql files (en and fr)
(cherry picked from commit b626f557b132ef057fe9ed36f881f50771f4efe6)

Solved Conflicts:

installer/data/mysql/en/mandatory/sysprefs.sql
installer/data/mysql/fr-FR/1-Obligatoire/unimarc_standard_systemprefs.sql
installer/data/mysql/updatedatabase.pl

MT8887: Fix call to SimpleSearch in acqui/tables/orders.pl

MT7667: Store in uppercase member surnames
(cherry picked from commit 278fd5e3613ba1f5ce26a8c24c535c888f41c73d)

Merge remote-tracking branch 'origin/dev/solr' into dev/stetienne

MT8654: Check 100$a pos 28-29 to detect encoding

Merge remote-tracking branch 'origin/dev/solr' into dev/stetienne

Merge remote-tracking branch 'origin/solr/ft/MT7654' into dev/solr

Merge remote-tracking branch 'origin/solr/ft/MT8746' into dev/solr

[SOLR] MT8746: Perfs: Exit after redirect to opac maintenance

Merge remote-tracking branch 'origin/solr/ft/optim' into dev/solr

[SOLR] IndexRecordQueue modification

Sleep only if there is nothing to read from file

[SOLR] IndexRecordQueue modification

Re-read the file from the beginning after each call to
remove_indexed_records
It permits to avoid read errors

[SOLR] Fix call to SimpleSearch in C4::RPN2SOLR

Merge remote-tracking branch 'origin/dev/solr' into dev/stetienne

Solved conflicts:
acqui/neworderbiblio.pl
installer/data/mysql/updatedatabase.pl
kohaversion.pl

MT8501: Fix parameters handling for CAS login

MT8745: Do not require serials permission for subscription-bib-search.pl

[SOLR] Rename a variable to prevent Perl warnings

[SOLR]MT8735: Perfs disconnect mysql connections after end of script

Merge remote-tracking branch 'origin/solr/ft/MT8702' into dev/solr

Merge remote-tracking branch 'origin/solr/ft/MT8627' into dev/solr

Merge remote-tracking branch 'remotes/origin/solr/ft/cronjobs' into dev/solr

Merge remote-tracking branch 'origin/solr/ft/MT8621' into dev/solr

[SOLR] Followup: Search: Disable submit button after click

FIX: Delete useless call to js function

Merge remote-tracking branch 'origin/solr/ft/MT8621' into dev/solr

Merge remote-tracking branch 'origin/solr/ft/MT8552' into dev/solr

Merge remote-tracking branch 'origin/solr/ft/MT7494' into dev/solr

[SOLR] Search: Disable submit button after click

Preventing double form submission on search (opac and intranet)

[SOLR] MT8702: BZ6627: Update to improve security in  specified log files

BZ6627 Adapted patch

Merge remote-tracking branch 'origin/solr/ft/MT8572' into dev/solr

Merge remote-tracking branch 'origin/solr/ft/MT8579' into dev/solr

Merge remote-tracking branch 'origin/solr/ft/traces' into dev/solr

Conflicts solved:
C4/Search/Engine/Solr.pm

Merge remote-tracking branch 'origin/solr/ft/optim' into dev/solr

Conflicts solved:
C4/Data/Record/Check.pm
C4/Matcher.pm
koha-tmpl/intranet-tmpl/prog/en/modules/authorities/blinddetail-biblio-search.tmpl

MT7654: dedup_authorities: add he-main to the list of "good indexes"

    The query is now executed only if it contains at least one of the
    following indexes: he, he-main, ppn

Merge remote-tracking branch 'origin/dev/solr' into dev/stetienne

MT8261: Fix CanBookBeReserved

CanBookBeReserved now returns 0 if called with a branchcode and if at
least one item in this branch is available (and if on-shelf holds are
not allowed)

[SOLR] Adding sqlwhere for UNIMARC_sync_date_created

This allows to synchronise dates into some local use fields
On a little scale and not the entire database :

*** Adding 099$c and $d where there is none
perl misc/maintenance/UNIMARC_sync_date_created_with_marc_biblio.pl \
--run --where \
"Extractvalue(marcxml,'count(//datafield[@tag=\"099\"]/subfield[@code=\"c\" or @code=\"d\"])')=0"

*** updating 099$c and $d where they are not synched
perl misc/maintenance/UNIMARC_sync_date_created_with_marc_biblio.pl \
--run --where \
"Extractvalue(marcxml,'//datafield[@tag=\"099\"]/subfield[@code=\"c\"]')<>biblio.datecreated"

perl misc/maintenance/UNIMARC_sync_date_created_with_marc_biblio.pl \
--run --where \
"Extractvalue(marcxml,'//datafield[@tag=\"099\"]/subfield[@code=\"d\"]')<>biblio.timestamp"

*** One can even use LIMIT parameter in order to test
perl misc/maintenance/UNIMARC_sync_date_created_with_marc_biblio.pl \
--run --where \
"Extractvalue(marcxml,'//datafield[@tag=\"099\"]/subfield[@code=\"d\"]')<>biblio.timestamp LIMIT 50"

(cherry picked from commit 0bbfe79d15210ba70944879719565bd9ad7c902c)

MT8627: Add xslt "functions" in UNIMARCslimUtils.xsl to escape solr string

example:
  <xsl:attribute name="href">/cgi-bin/koha/opac-search.pl?q=se:&#34;<xsl:call-template name="escape_solr_char">
      <xsl:with-param name="text"><xsl:value-of select="marc:subfield[@code='t']"/></xsl:with-param>
    </xsl:call-template>&#34;</xsl:attribute>
  <xsl:value-of select="marc:subfield[@code='t']"/>