Bug 7846 - get_batch_summary massive speedup

current code is using DISTINCT and another SQL query which can be replaced with GROUP BY
for massive speedup. In our case, generating Manage Batches screen DBI time decreased
from 24.762 s to 0.147 s

Aside from correct usage of relational database, this change also cleans up code nicely.

Test scenario:

1. open Manage Batches screen and take note of time needed to generate it
2. apply this patch
3. reload page and check page genration time

Bug 7952 - PDF::Reuse under plack writes to console STDOUT instead to browser

Without name option to prFile, PDF::Reuse opens '-' file which is real
console STDOUT on plack so pdf file gets emited to terminal instead of
sending it to browser.

This change creates temporary file using File::Temp, pass it to PDF::Reuse
and then reads it back and prints it out for plack (or CGI) to pick up.

Test secenario:

1. Home › Tools › Patron Card Creator › Manage Card Batches
2. select batch checkbox and click Export
3. select template and click Export
4. click on pdf file to download it

remove PLACK_MINIFIER

move evals to global our so we can modify it

plack - added DBD::Gofer example

GetMarcFromKohaField would benefit from memoize

plack - fix -E deployment

Bug 7872 - C4::Items GetItemStatus

Revert "use Koha::Persistant authorised_value"

This reverts commit 6cd524f99b1bbc03eb1ad7110b0b97016569387d.

Conflicts:

C4/Items.pm
Koha/Persistant.pm

Revert "marc_subfield_structure"

Code similar to this is already provided in C4::Koha, see Bug 7872

http://bugs.koha-community.org/bugzilla3/show_bug.cgi?id=7872

This reverts commit 70a414d93bd0ae309e9d6097ea87a17e3341fe3c.

Conflicts:

C4/Items.pm
Koha/Persistant.pm

Bug 7857 - invalidate cached preferences after SetVersion

This allows plack to correctly move to login page after database upgrade

plackup - we need installer dir among perl includes

Could not compile /srv/koha/installer/install.pl: Can't locate InstallAuth.pm in @INC (@INC contains: ./lib /srv/koha /etc/perl /usr/local/lib/perl/5.10.1 /usr/local/share/perl/5.10.1 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.10 /usr/share/perl/5.10 /usr/local/lib/site_perl /usr/local/lib/perl/5.10.0 /usr/local/share/perl/5.10.0 .) at /srv/koha/installer/install.pl line 7.
BEGIN failed--compilation aborted at /srv/koha/installer/install.pl line 7.

final cleanup of plack code

used in demo videos

Bug 7844 - README

drop Linux caches

This helps when re-running benchmarks

Bug 7844 - plack intranet tooling for developers

koha.psgi example and plackup.sh script to run any Koha site
intranet or opac interface under plack with optional multi-process
Starman server

  plackup.sh site-name [intranet]

site-name is used to find config /etc/koha/sites/site-name/koha-conf.xml

All configuration is specified in koha.psgi, which you are welcomed to edit
and tune according to your development needs.

When you are happy with it, rename it to site name and save it for safe-keeping.

Test scenario:
1. install plack and dependencies, using ./cpanm-install.pl

2. start ./plackup.sh sitename

3. open intranet page http://localhost:5001/cgi-bin/koha/mainpage.pl
   and verify that it works

4. start ./plackup.sh sitename i[ntranet]

5. open OPAC http://localhost:5000/cgi-bin/koha/opac-main.pl
   and verify that it works

rename script to unify plackup start script

enviroment config must be at top of file

run opac under Starman

use PROFILE_PER_PAGE for correct CGI-like stats

If you set this to 0, you will get statistics for whole lifetime of plack process,
making all numbers increase with each page load which makes them hard to compare when
benchmarking

added Plack::Middleware::Profiler::NYTProf and use symlinks

cache FETCH in memory to demonstrate preformance improvement

local copy of Memoize::Memcached

annotate select * from itemtypes with -- sql comment

This allows to see SQL queries in DBI Profile plack panel

I checked, DBI::Profile doesn't have notion on where query
came from other than filename, because it would be great to
have source file and line number automatically, but we
don't have it (yet :-)

move our panels to top, run only low-impact debug

plack enable memcached

remove debug output

Plack Koha panel to eval code and display result

This is useful to introspect current instance sense of various configuration values

fix MEMCACHED_DEBUG

Koha::Persist - emit debug output according to DEBUG=2 level

Bug 7177 - memoize GetItemTypes

echo 'select count(*) from itemtypes' | mysql koha_srvgit
count(*)
12

Profile Path: select * from itemtypes where itemtype=?
Profile Data: 0.021141s / 504 = 0.000042s avg (first 0.000048s, min 0.000015s, max 0.000097s)

504 >> 12

collect $Koha::Persistant::stats for existing code

drop Linux cache using sudo

Plack::Middleware::Debug::Persistant to view Koha::Persistant stats

marc_subfield_structure

use Koha::Persistant authorised_value

plack reload Koha modules

multi-dimensional cache using evals

Koha::Persistant authorised_values

update Plack::Middleware::Debug::Devel::Size to latest

added Plack::Middleware::Debug::Devel::Size

MEMCACHE_DEBUG added

7863 test scenario

plackup reload opac and modules

Bug 7844 - sudo with xmlstarlet

Bug 7857 - remove exit 1 for plack

from http://wiki.koha-community.org/wiki/Plack

Bug 7857 - database upgrade fails with plack

Updating database structure

Update errors :

    Can't locate C4/Context.pm in @INC (@INC contains: /etc/perl /usr/local/lib/perl/5.10.1 /usr/local/share/perl/5.10.1 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.10 /usr/share/perl/5.10 /usr/local/lib/site_perl /usr/local/lib/perl/5.10.0 /usr/local/share/perl/5.10.0 .) at /srv/koha/installer/data/mysql/updatedatabase.pl line 37.
    BEGIN failed--compilation aborted at /srv/koha/installer/data/mysql/updatedatabase.pl line 37.

It seems that plack cleans enviroment, so we have to re-instart PERL5LIB
so script invocation won't fail.

koha installers needs it's directory

Bug 7847 - OPAC search dies with plack

This bug was uncovered by @mglavica during HackFest in Marseille
It also showed it's ugly head during my plack presentation

Bug 7844 - plack intranet tooling for developers

koha.psgi example and script to run any Koha site intranet or opac under plack

It also defines new enviroment variables:

PLACK_DEBUG=1  - turn Plack debug panels on
PLACK_MINIFY=1 - minify JavaScript and CSS which saves us ~10k on each page load

Test scenario:
1. install plack and dependencies, using ./cpanm-install.pl

2. start ./intranet-plack.sh sitename

3. open intranet page http://localhost:5001/cgi-bin/koha/mainpage.pl
   and verify that it works

4. start ./opac-plack.sh sitename

5. open OPAC http://localhost:5000/cgi-bin/koha/opac-main.pl
   and very that it works

Bug 7831 : Sort budgets for selection in new order

The select budget dropdown list should be presented in
an ordered fashion. To achieve this sort the budget array
by the visible text.

Signed-off-by: Chris Cormack <chrisc@catalyst.net.nz>
Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Merge remote-tracking branch 'origin/new/bug_7876'

Bug 7876 - Followup - Fix span tag position, add fine amount spans.

Span was outside, the if statement, could possible cause problems
with jQuery customizations, moved span to inside the conditional.

Also added span for the fine amount itself, so that it may be
re-used for jQuery customizations.

Signed-off-by: Liz Rea <wizzyrea@gmail.com>
Passed tests, spans appear to be correct.

Bug 2034: Removing unused scripts billig.pl/billing.tt

- Scripts are currently not linked from anywhere in the templates
- Functionality can also be achieved with a custom report
- There are unresolved problems with the sql in the existig scripts

Signed-off-by: Chris Cormack <chrisc@catalyst.net.nz>
Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Bug 7940 - Placing a hold on a single item from the staff cart causes errors

This is caused by the javascript function placeHold() in basket.pl
The cause of this error is thus: when a staff member uses the cart
to place holds on multiple items at once, the cart redirects to
reserver/request.pl with the params 'biblionumbers' ( a string of
biblionumbers separated by slashes ( e.g. '5/4/3/' ) and the param
multi_hold with a value of 1.

When multi_hold is enabled, request.pl splits the string 'biblionumbers'
on those slashes and works on that list.

In placeHold(), when only one item is checked, the system passes
the param biblionumbers with a single biblionumber ( e.g. '5/' )
and does *not* pass the multi_hold param. This causes request.pl
to not parse the biblionumbers param, and thus reserve.pl has
no biblionumber to work on ( hence our error here ).

There are two options to resolve this:
A) Add the multi_hold param even for a single hold from the cart.
B) In the event of a single hold being placed from the cart,
   switch to the standard single hold url ( i.e. request.pl?biblionumber=234 )

This commit resolves the situation using option B, as it seems more
logical than using the multi-holds system for a single hold.

Signed-off-by: Liz Rea <wizzyrea@gmail.com>
passes tests, works as advertised. Good catch!

Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Bug 7838 - Add sort-string-utf.chr for Ukrainian and Russian

Signed-off-by: Chris Cormack <chrisc@catalyst.net.nz>
Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Bug 7834: order search at the top of acq does nothing

Entering a search term for 'title' or 'vendor' at the top search
form in acq (tab 'Orders search') did redirect to the advanced
search form, but didn't start the search.

After applying the patch the search will bring back results immediately
or redirect to the form, when there are no results.

To test:
- Check all searches still work as expected by searching for title,
vendor, order name and invoice number
- Check advanced search still has the search terms prepopulated
- Check searches with and without results are ok

Signed-off-by: Chris Cormack <chrisc@catalyst.net.nz>
Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Bug 7756: FIX send email for late orders

Signed-off-by: Katrin Fischer <Katrin.Fischer.83@web.de>
- sending claim mails works now
- claim counter is not increased when vendor has no email address

Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

missing \n in updatedatabase that causes some ugly display

Merge remote-tracking branch 'origin/new/bug_2780'

Bug 2780 [FOLLOW-UP] Capitalize strings consistently

Changes to the case of some hidden input values prevented
the user from being able to save a new SQL report.

Signed-off-by: Liz Rea <wizzyrea@gmail.com>
passes tests, can now save sql reports.

Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

members now passes perlcritic, but not misc. removing testing of misc

Updating euskara and french translation teams

Bug 7935 follow-up: DBRev number

Bug 7935: Introduce sys pref to control 'browse results' in OPAC

Patch introduces a new system preference "OpacBrowseResults" to control
the feature for browsing and paging through results shown on top of the
left menu on detail pages in OPAC.

Preference is activated by default and can be deactivated using the
system preference.

To test:
 - Check database update works correctly
 - Check that browsing and paging still works with after database update
 - Deactivate the feature by setting 'OpacBrowseResults' to 'Disable'
 - Check the feature does no longer show up in OPAC
 - Check that a new installation also has the system preference with correct default

Signed-off-by: Chris Cormack <chrisc@catalyst.net.nz>

Bug 2505 follow-up: C4::Ris not ready for use strict;use warnings;

The patch pushed a few hours ago is a good 1st step in the right direction.
however, many things are still to do to have the script OK with strict/warning, so commenting them

Errors if you have them:

Global symbol "$utf" requires explicit package name at C4/Ris.pm line 111.
Global symbol "$intype" requires explicit package name at C4/Ris.pm line 350.
Global symbol "$intype" requires explicit package name at C4/Ris.pm line 350.
Global symbol "$intype" requires explicit package name at C4/Ris.pm line 353.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 363.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 389.
Global symbol "$intype" requires explicit package name at C4/Ris.pm line 431.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 438.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 439.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 440.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 441.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 442.
Global symbol "$intype" requires explicit package name at C4/Ris.pm line 443.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 464.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 465.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 466.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 479.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 480.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 483.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 484.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 485.
Global symbol "$intype" requires explicit package name at C4/Ris.pm line 501.
Global symbol "$intype" requires explicit package name at C4/Ris.pm line 505.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 527.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 530.
Global symbol "$intype" requires explicit package name at C4/Ris.pm line 539.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 540.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 556.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 557.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 561.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 562.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 578.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 579.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 583.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 584.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 613.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 614.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 629.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 630.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 645.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 646.
Global symbol "$intype" requires explicit package name at C4/Ris.pm line 674.
Global symbol "$protoyear" requires explicit package name at C4/Ris.pm line 706.
Global symbol "$protoyear" requires explicit package name at C4/Ris.pm line 707.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 707.
Global symbol "$protoyear" requires explicit package name at C4/Ris.pm line 710.
Global symbol "$protoyear" requires explicit package name at C4/Ris.pm line 715.
Global symbol "$protoyear" requires explicit package name at C4/Ris.pm line 721.
Global symbol "$protoyear" requires explicit package name at C4/Ris.pm line 725.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 729.
Global symbol "$protoyear" requires explicit package name at C4/Ris.pm line 730.
Global symbol "$protoyear" requires explicit package name at C4/Ris.pm line 730.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 731.
Global symbol "$protoyear" requires explicit package name at C4/Ris.pm line 734.
Global symbol "$protoyear" requires explicit package name at C4/Ris.pm line 735.
Global symbol "$protoyear" requires explicit package name at C4/Ris.pm line 738.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 772.
Global symbol "@kwsubfields" requires explicit package name at C4/Ris.pm line 776.
Global symbol "@kwsubfields" requires explicit package name at C4/Ris.pm line 779.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 789.
Global symbol "@notesubfields" requires explicit package name at C4/Ris.pm line 892.
Global symbol "@notesubfields" requires explicit package name at C4/Ris.pm line 895.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 901.
Global symbol "$marcprint" requires explicit package name at C4/Ris.pm line 935.
Global symbol "$utf" requires explicit package name at C4/Ris.pm line 962.
Global symbol "$uniout" requires explicit package name at C4/Ris.pm line 966.
C4/Ris.pm had compilation errors.

Bug 5668 follow-up: removing empty lines in opac.pref

Those lines where introduced by this patch

Bug 5668 follow-up: DBRev number

Bug 5668 - Star ratings in the opac

patch applied to commit eb3dc448d2378e01a524d082fc6389484b0cc7d8

Signed-off-by: Nicole C. Engard <nengard@bywatersolutions.com>
Turned on star ratings in the opac on details and results
Searched for titles - saw the stars
Clicked on a title
Clicked on the stars
Clicked on the stars to change my rating
Logged out
Tried to click on stars
Logged in as different user
Rated items that were rated already and saw average change
Changed preference to show only on detail and repeated tests
Changed preference to now show stars

All above tests passed. Signing off.

Rebased 3-19-12 by Ian Walls

Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Bug 7743 follow up fixing syntax to so templates pass test

Signed-off-by: Katrin Fischer <Katrin.Fischer.83@web.de>
Failing test was: xt/author/valid-templates.t

Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Bug 6679 :[SIGNED-OFF] Fixing some perlcritic violations in the opac

signed-off-by: Jonathan Druart <jonathan.druart@biblibre.com>

Bug 6679 :[SIGNED-OFF] members dir now passes perlcritic tests

signed-off-by Jonathan Druart <jonathan.druart@biblibre.com>

Bug 7816 :[SIGNED-OFF] Encode output as utf-8 dont just flag it as such

Intention of code is that data is output in utf-8 requires an
encoding layer to ensure that. ':utf-8' flags the stream as utf-8
but does not ensure output characters are correctly encoded

signed-off-by: Jonathan Druart <jonathan.druart@biblibre.com>
Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Bug 7871: prevents crash when suggestion linked to erased budget

Signed-off-by: Chris Cormack <chrisc@catalyst.net.nz>
Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Bug 7807: [SIGNED-OFF] Fix call to GetSuggestionFromBiblionumber

This sub only takes one parameter

signed-off-by: Jonathan Druart <jonathan.druart@biblibre.com>
Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Bug 7886 follow-up DBRev number

Bug 7886 - C4/ShelfBrowser slow SQL performance

ShelfBrowser uses two SQL queries with syntax

WHERE ((cn_sort = ? AND itemnumber < ?) OR cn_sort < ?)
AND homebranch = ? AND location = ? AND ccode = ?

homebranch already has index, and adding indexes on ccode and location
improves performance by 30% for each query since MySQL is able to use
index_merge intersect(items_ccode,homebranch,items_location)

Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Bug 7900: Link to vendor from subscription detail is broken

To test:
- Add a serial subscription with a link to a vendor
- Check the subscription detail page for the name and link to the vendor
- Check that the link works correctly

Signed-off-by: Chris Cormack <chrisc@catalyst.net.nz>
Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Bug 2505 : Switch on warnings in circ/returns.pl

Removed a compile time warning caused by a void context
in a bit of too clever obscure code

Signed-off-by: Chris Cormack <chrisc@catalyst.net.nz>
Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Bug 2505 : use warnings in smart_rules.pl

Fix some careless code redeclaring a variable
declaring a variable in a condition
so that these don't generate errors

Signed-off-by: Chris Cormack <chrisc@catalyst.net.nz>

Bug 2505 - enable Perl warnings in all modules and scripts

enable warnings, and correct perlcritic's 'Loop iterator is not lexical' errors in C4/Ris.pm

modified:   C4/Ris.pm

Signed-off-by: Chris Cormack <chrisc@catalyst.net.nz>
Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Bug 7893 - add package dependencies

This adds some dependencies to the control file that are required.

Signed-off-by: Jared Camins-Esakov <jcamins@cpbibliography.com>
Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Bug 2780 - Capitalize strings consistently (home, about, login)

Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Merge remote-tracking branch 'origin/new/bug_2780'

[SIGNED-OFF]Bug 2780 - Capitalize strings consistently (tools)

Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>
This patch also fixes some strings:
* itemcallnumber => item call number
* Profile marcfields=> Profile MARC fields

[SIGNED-OFF]Bug 2780 - Capitalize strings consistently (virtualshelves)

Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>
This patch also fixes some vocabulary replacing "shelf" by "list"

[SIGNED-OFF]Bug 2780 - Capitalize strings consistently (reports)

Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

[SIGNED-OFF]Bug 2780: Capitalize strings consistently

Fixes some more strings.

Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

[SIGNED-OFF]Bug 2780: Capitalize strings consistently

Some missing strings.

Signed-off-by: Paul Poulain <paul.poulain@biblibre.com>

Merge remote-tracking branch 'origin/new/bug_2780'

Bug 2780 - Capitalize strings consistently - various

Signed-off-by: Owen Leonard <oleonard@myacpl.org>

Bug 2780 - Capitalize strings consistently (serials)

Signed-off-by: Owen Leonard <oleonard@myacpl.org>

Bug 2780 - Capitalize strings consistently (reserve, review, rotating collections)

Signed-off-by: Owen Leonard <oleonard@myacpl.org>

Bug 2780 - Capitalize strings consistently (patron cards)

Signed-off-by: Owen Leonard <oleonard@myacpl.org>

Bug 2780 - Capitalize strings consistently (offline circulation)

Signed-off-by: Owen Leonard <oleonard@myacpl.org>

Bug 2780 - Capitalize strings consistently (members)

Signed-off-by: Owen Leonard <oleonard@myacpl.org>

Bug 2780 - Follow up - Capitalize strings consistently (Staff client cart)

Signed-off-by: Owen Leonard <oleonard@myacpl.org>

Bug 2780 - Follow up - Capitalize strings consistently (Admin pages)

Fixes some missed strings.

Signed-off-by: Owen Leonard <oleonard@myacpl.org>

Bug 2780 - Capitalize strings consistently (Labels templates)

Correcting capitalization in Labels templates

Signed-off-by: Katrin Fischer <Katrin.Fischer.83@web.de>