Bug: 4263 - Repeatable subfields in items
[koha_fer] / C4 / Biblio.pm
index 4f8884c..7eb3124 100644 (file)
@@ -13,113 +13,131 @@ package C4::Biblio;
 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
 #
-# You should have received a copy of the GNU General Public License along with
-# Koha; if not, write to the Free Software Foundation, Inc., 59 Temple Place,
-# Suite 330, Boston, MA  02111-1307 USA
+# You should have received a copy of the GNU General Public License along
+# with Koha; if not, write to the Free Software Foundation, Inc.,
+# 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
 
 use strict;
+use warnings;
 
-require Exporter;
 # use utf8;
-use C4::Context;
 use MARC::Record;
 use MARC::File::USMARC;
 use MARC::File::XML;
 use ZOOM;
+use POSIX qw(strftime);
+
 use C4::Koha;
-use C4::Date;
-use C4::Log; # logaction
+use C4::Dates qw/format_date/;
+use C4::Log;    # logaction
+use C4::ClassSource;
+use C4::Charset;
+require C4::Heading;
+require C4::Serials;
 
 use vars qw($VERSION @ISA @EXPORT);
 
-# set the version for version checking
-$VERSION = do { my @v = '$Revision$' =~ /\d+/g; shift(@v).".".join( "_", map { sprintf "%03d", $_ } @v ); };
-
-@ISA = qw( Exporter );
-
-# EXPORTED FUNCTIONS.
-
-# to add biblios or items
-push @EXPORT, qw( &AddBiblio &AddItem );
-
-# to get something
-push @EXPORT, qw(
-  &GetBiblio
-  &GetBiblioData
-  &GetBiblioItemData
-  &GetBiblioItemInfosOf
-  &GetBiblioItemByBiblioNumber
-  &GetBiblioFromItemNumber
-  
-  &GetMarcItem
-  &GetItem
-  &GetItemInfosOf
-  &GetItemStatus
-  &GetItemLocation
-  &GetLostItems
-  &GetItemsForInventory
-  &GetItemsCount
-
-  &GetMarcNotes
-  &GetMarcSubjects
-  &GetMarcBiblio
-  &GetMarcAuthors
-  &GetMarcSeries
-  &GetUsedMarcStructure
-
-  &GetItemsInfo
-  &GetItemsByBiblioitemnumber
-  &GetItemnumberFromBarcode
-  &get_itemnumbers_of
-  &GetXmlBiblio
-
-  &GetAuthorisedValueDesc
-  &GetMarcStructure
-  &GetMarcFromKohaField
-  &GetFrameworkCode
-  &GetPublisherNameFromIsbn
-  &TransformKohaToMarc
-);
-
-# To modify something
-push @EXPORT, qw(
-  &ModBiblio
-  &ModItem
-  &ModItemTransfer
-  &ModBiblioframework
-  &ModZebra
-  &ModItemInMarc
-  &ModItemInMarconefield
-  &ModDateLastSeen
-);
-
-# To delete something
-push @EXPORT, qw(
-  &DelBiblio
-  &DelItem
-);
-
-# Internal functions
-# those functions are exported but should not be used
-# they are usefull is few circumstances, so are exported.
-# but don't use them unless you're a core developer ;-)
-push @EXPORT, qw(
-  &ModBiblioMarc
-  &AddItemInMarc
-  &calculatelc
-  &itemcalculator
-);
-
-# Others functions
-push @EXPORT, qw(
-  &TransformMarcToKoha
-  &TransformHtmlToMarc2
-  &TransformHtmlToMarc
-  &TransformHtmlToXml
-  &PrepareItemrecordDisplay
-  &char_decode
-  &GetNoZebraIndexes
-);
+BEGIN {
+    $VERSION = 1.00;
+
+    require Exporter;
+    @ISA = qw( Exporter );
+
+    # to add biblios
+    # EXPORTED FUNCTIONS.
+    push @EXPORT, qw(
+      &AddBiblio
+    );
+
+    # to get something
+    push @EXPORT, qw(
+      &Get
+      &GetBiblio
+      &GetBiblioData
+      &GetBiblioItemData
+      &GetBiblioItemInfosOf
+      &GetBiblioItemByBiblioNumber
+      &GetBiblioFromItemNumber
+      &GetBiblionumberFromItemnumber
+
+      &GetRecordValue
+      &GetFieldMapping
+      &SetFieldMapping
+      &DeleteFieldMapping
+
+      &GetISBDView
+
+      &GetMarcControlnumber
+      &GetMarcNotes
+      &GetMarcISBN
+      &GetMarcSubjects
+      &GetMarcBiblio
+      &GetMarcAuthors
+      &GetMarcSeries
+      GetMarcUrls
+      &GetUsedMarcStructure
+      &GetXmlBiblio
+      &GetCOinSBiblio
+
+      &GetAuthorisedValueDesc
+      &GetMarcStructure
+      &GetMarcFromKohaField
+      &GetFrameworkCode
+      &TransformKohaToMarc
+
+      &CountItemsIssued
+    );
+
+    # To modify something
+    push @EXPORT, qw(
+      &ModBiblio
+      &ModBiblioframework
+      &ModZebra
+    );
+
+    # To delete something
+    push @EXPORT, qw(
+      &DelBiblio
+    );
+
+    # To link headings in a bib record
+    # to authority records.
+    push @EXPORT, qw(
+      &LinkBibHeadingsToAuthorities
+    );
+
+    # Internal functions
+    # those functions are exported but should not be used
+    # they are usefull is few circumstances, so are exported.
+    # but don't use them unless you're a core developer ;-)
+    push @EXPORT, qw(
+      &ModBiblioMarc
+    );
+
+    # Others functions
+    push @EXPORT, qw(
+      &TransformMarcToKoha
+      &TransformHtmlToMarc2
+      &TransformHtmlToMarc
+      &TransformHtmlToXml
+      &PrepareItemrecordDisplay
+      &GetNoZebraIndexes
+    );
+}
+
+eval {
+    my $servers = C4::Context->config('memcached_servers');
+    if ($servers) {
+        require Memoize::Memcached;
+        import Memoize::Memcached qw(memoize_memcached);
+
+        my $memcached = {
+            servers    => [$servers],
+            key_prefix => C4::Context->config('memcached_namespace') || 'koha',
+        };
+        memoize_memcached( 'GetMarcStructure', memcached => $memcached, expire_time => 600 );    #cache for 10 minutes
+    }
+};
 
 =head1 NAME
 
@@ -197,529 +215,416 @@ When modifying a biblio or an item, the behaviour is quite similar.
 
 =head2 AddBiblio
 
-=over 4
+  ($biblionumber,$biblioitemnumber) = AddBiblio($record,$frameworkcode);
 
-($biblionumber,$biblioitemnumber) = AddBiblio($record,$frameworkcode);
 Exported function (core API) for adding a new biblio to koha.
 
-=back
+The first argument is a C<MARC::Record> object containing the
+bib to add, while the second argument is the desired MARC
+framework code.
+
+This function also accepts a third, optional argument: a hashref
+to additional options.  The only defined option is C<defer_marc_save>,
+which if present and mapped to a true value, causes C<AddBiblio>
+to omit the call to save the MARC in C<bibilioitems.marc>
+and C<biblioitems.marcxml>  This option is provided B<only>
+for the use of scripts such as C<bulkmarcimport.pl> that may need
+to do some manipulation of the MARC record for item parsing before
+saving it and which cannot afford the performance hit of saving
+the MARC record twice.  Consequently, do not use that option
+unless you can guarantee that C<ModBiblioMarc> will be called.
 
 =cut
 
 sub AddBiblio {
-    my ( $record, $frameworkcode ) = @_;
-    my $biblionumber;
-    my $biblioitemnumber;
+    my $record          = shift;
+    my $frameworkcode   = shift;
+    my $options         = @_ ? shift : undef;
+    my $defer_marc_save = 0;
+    if ( defined $options and exists $options->{'defer_marc_save'} and $options->{'defer_marc_save'} ) {
+        $defer_marc_save = 1;
+    }
+
+    my ( $biblionumber, $biblioitemnumber, $error );
     my $dbh = C4::Context->dbh;
+
     # transform the data into koha-table style data
     my $olddata = TransformMarcToKoha( $dbh, $record, $frameworkcode );
-    $biblionumber = _koha_add_biblio( $dbh, $olddata, $frameworkcode );
+    ( $biblionumber, $error ) = _koha_add_biblio( $dbh, $olddata, $frameworkcode );
     $olddata->{'biblionumber'} = $biblionumber;
-    $biblioitemnumber = _koha_add_biblioitem( $dbh, $olddata );
-
-    # we must add bibnum and bibitemnum in MARC::Record...
-    # we build the new field with biblionumber and biblioitemnumber
-    # we drop the original field
-    # we add the new builded field.
-    ( my $biblio_tag, my $biblio_subfield ) = GetMarcFromKohaField("biblio.biblionumber",$frameworkcode);
-    ( my $biblioitem_tag, my $biblioitem_subfield ) = GetMarcFromKohaField("biblioitems.biblioitemnumber",$frameworkcode);
-
-    my $newfield;
+    ( $biblioitemnumber, $error ) = _koha_add_biblioitem( $dbh, $olddata );
 
-    # biblionumber & biblioitemnumber are in different fields
-    if ( $biblio_tag != $biblioitem_tag ) {
-
-        # deal with biblionumber
-        if ( $biblio_tag < 10 ) {
-            $newfield = MARC::Field->new( $biblio_tag, $biblionumber );
-        }
-        else {
-            $newfield =
-              MARC::Field->new( $biblio_tag, '', '',
-                "$biblio_subfield" => $biblionumber );
-        }
-
-        # drop old field and create new one...
-        my $old_field = $record->field($biblio_tag);
-        $record->delete_field($old_field);
-        $record->append_fields($newfield);
-
-        # deal with biblioitemnumber
-        if ( $biblioitem_tag < 10 ) {
-            $newfield = MARC::Field->new( $biblioitem_tag, $biblioitemnumber, );
-        }
-        else {
-            $newfield =
-              MARC::Field->new( $biblioitem_tag, '', '',
-                "$biblioitem_subfield" => $biblioitemnumber, );
-        }
-        # drop old field and create new one...
-        $old_field = $record->field($biblioitem_tag);
-        $record->delete_field($old_field);
-        $record->insert_fields_ordered($newfield);
+    _koha_marc_update_bib_ids( $record, $frameworkcode, $biblionumber, $biblioitemnumber );
 
-# biblionumber & biblioitemnumber are in the same field (can't be <10 as fields <10 have only 1 value)
-    }
-    else {
-        my $newfield = MARC::Field->new(
-            $biblio_tag, '', '',
-            "$biblio_subfield" => $biblionumber,
-            "$biblioitem_subfield" => $biblioitemnumber
-        );
-
-        # drop old field and create new one...
-        my $old_field = $record->field($biblio_tag);
-        $record->delete_field($old_field);
-        $record->insert_fields_ordered($newfield);
-    }
+    # update MARC subfield that stores biblioitems.cn_sort
+    _koha_marc_update_biblioitem_cn_sort( $record, $olddata, $frameworkcode );
 
     # now add the record
-    $biblionumber = ModBiblioMarc( $record, $biblionumber, $frameworkcode );
-      
-    &logaction(C4::Context->userenv->{'number'},"CATALOGUING","ADD",$biblionumber,"biblio") 
-        if C4::Context->preference("CataloguingLog");
+    ModBiblioMarc( $record, $biblionumber, $frameworkcode ) unless $defer_marc_save;
 
+    logaction( "CATALOGUING", "ADD", $biblionumber, "biblio" ) if C4::Context->preference("CataloguingLog");
     return ( $biblionumber, $biblioitemnumber );
 }
 
-=head2 AddItem
-
-=over 2
-
-    $biblionumber = AddItem( $record, $biblionumber)
-    Exported function (core API) for adding a new item to Koha
-
-=back
-
-=cut
-
-sub AddItem {
-    my ( $record, $biblionumber ) = @_;
-    my $dbh = C4::Context->dbh;
-    
-    # add item in old-DB
-    my $frameworkcode = GetFrameworkCode( $biblionumber );
-    my $item = &TransformMarcToKoha( $dbh, $record, $frameworkcode );
-
-    # needs old biblionumber and biblioitemnumber
-    $item->{'biblionumber'} = $biblionumber;
-    my $sth =
-      $dbh->prepare(
-        "select biblioitemnumber,itemtype from biblioitems where biblionumber=?"
-      );
-    $sth->execute( $item->{'biblionumber'} );
-    my $itemtype;
-    ( $item->{'biblioitemnumber'}, $itemtype ) = $sth->fetchrow;
-    $sth =
-      $dbh->prepare(
-        "select notforloan from itemtypes where itemtype='$itemtype'");
-    $sth->execute();
-    my $notforloan = $sth->fetchrow;
-    ##Change the notforloan field if $notforloan found
-    if ( $notforloan > 0 ) {
-        $item->{'notforloan'} = $notforloan;
-        &MARCitemchange( $record, "items.notforloan", $notforloan );
-    }
-    if ( !$item->{'dateaccessioned'} || $item->{'dateaccessioned'} eq '' ) {
-
-        # find today's date
-        my ( $sec, $min, $hour, $mday, $mon, $year, $wday, $yday, $isdst ) =
-          localtime(time);
-        $year += 1900;
-        $mon  += 1;
-        my $date =
-          "$year-" . sprintf( "%0.2d", $mon ) . "-" . sprintf( "%0.2d", $mday );
-        $item->{'dateaccessioned'} = $date;
-        &MARCitemchange( $record, "items.dateaccessioned", $date );
-    }
-    my ( $itemnumber, $error ) =
-      &_koha_new_items( $dbh, $item, $item->{barcode} );
+=head2 ModBiblio
 
-    # add itemnumber to MARC::Record before adding the item.
-    $sth = $dbh->prepare(
-"select tagfield,tagsubfield from marc_subfield_structure where frameworkcode=? and kohafield=?"
-      );
-    &TransformKohaToMarcOneField( $sth, $record, "items.itemnumber", $itemnumber,
-        $frameworkcode );
-
-    # add the item
-    &AddItemInMarc( $record, $item->{'biblionumber'},$frameworkcode );
-    
-    &logaction(C4::Context->userenv->{'number'},"CATALOGUING","ADD",$itemnumber,"item") 
-        if C4::Context->preference("CataloguingLog");
-    
-    return ($item->{biblionumber}, $item->{biblioitemnumber},$itemnumber);
-}
+  ModBiblio( $record,$biblionumber,$frameworkcode);
 
-=head2 ModBiblio
+Replace an existing bib record identified by C<$biblionumber>
+with one supplied by the MARC::Record object C<$record>.  The embedded
+item, biblioitem, and biblionumber fields from the previous
+version of the bib record replace any such fields of those tags that
+are present in C<$record>.  Consequently, ModBiblio() is not
+to be used to try to modify item records.
 
-    ModBiblio( $record,$biblionumber,$frameworkcode);
-    Exported function (core API) to modify a biblio
+C<$frameworkcode> specifies the MARC framework to use
+when storing the modified bib record; among other things,
+this controls how MARC fields get mapped to display columns
+in the C<biblio> and C<biblioitems> tables, as well as
+which fields are used to store embedded item, biblioitem,
+and biblionumber data for indexing.
 
 =cut
 
 sub ModBiblio {
     my ( $record, $biblionumber, $frameworkcode ) = @_;
-    if (C4::Context->preference("CataloguingLog")) {
+    if ( C4::Context->preference("CataloguingLog") ) {
         my $newrecord = GetMarcBiblio($biblionumber);
-        &logaction(C4::Context->userenv->{'number'},"CATALOGUING","MODIFY",$biblionumber,"BEFORE=>".$newrecord->as_formatted);
+        logaction( "CATALOGUING", "MODIFY", $biblionumber, "BEFORE=>" . $newrecord->as_formatted );
     }
-    
+
     my $dbh = C4::Context->dbh;
-    
+
     $frameworkcode = "" unless $frameworkcode;
 
     # get the items before and append them to the biblio before updating the record, atm we just have the biblio
-    my ( $itemtag, $itemsubfield ) = GetMarcFromKohaField("items.itemnumber",$frameworkcode);
-    my $oldRecord = GetMarcBiblio( $biblionumber );
-    
-    # parse each item, and, for an unknown reason, re-encode each subfield 
+    my ( $itemtag, $itemsubfield ) = GetMarcFromKohaField( "items.itemnumber", $frameworkcode );
+    my $oldRecord = GetMarcBiblio($biblionumber);
+
+    # delete any item fields from incoming record to avoid
+    # duplication or incorrect data - use AddItem() or ModItem()
+    # to change items
+    foreach my $field ( $record->field($itemtag) ) {
+        $record->delete_field($field);
+    }
+
+    # parse each item, and, for an unknown reason, re-encode each subfield
     # if you don't do that, the record will have encoding mixed
     # and the biblio will be re-encoded.
     # strange, I (Paul P.) searched more than 1 day to understand what happends
     # but could only solve the problem this way...
-   my @fields = $oldRecord->field( $itemtag );
-    foreach my $fielditem ( @fields ){
+    my @fields = $oldRecord->field($itemtag);
+    foreach my $fielditem (@fields) {
         my $field;
-        foreach ($fielditem->subfields()) {
+        foreach ( $fielditem->subfields() ) {
             if ($field) {
-                $field->add_subfields(Encode::encode('utf-8',$_->[0]) => Encode::encode('utf-8',$_->[1]));
+                $field->add_subfields( Encode::encode( 'utf-8', $_->[0] ) => Encode::encode( 'utf-8', $_->[1] ) );
             } else {
-                $field = MARC::Field->new("$itemtag",'','',Encode::encode('utf-8',$_->[0]) => Encode::encode('utf-8',$_->[1]));
+                $field = MARC::Field->new( "$itemtag", '', '', Encode::encode( 'utf-8', $_->[0] ) => Encode::encode( 'utf-8', $_->[1] ) );
             }
-          }
+        }
         $record->append_fields($field);
     }
-    
-    # adding biblionumber
-    my ($tag_biblionumber, $subfield_biblionumber) = GetMarcFromKohaField('biblio.biblionumber',$frameworkcode);
-    $record->append_fields(
-           MARC::Field->new(
-                   $tag_biblionumber,'','',$subfield_biblionumber => $biblionumber
-           )
-    ) unless ($record->subfield($tag_biblionumber,$subfield_biblionumber));
-    
-    # update the MARC record (that now contains biblio and items) with the new record data
-    &ModBiblioMarc( $record, $biblionumber, $frameworkcode );
-    
+
+    foreach my $field ($record->fields()) {
+        if (! $field->is_control_field()) {
+            if (scalar($field->subfields()) == 0) {
+                $record->delete_fields($field);
+            }
+        }
+    }
+
+    # update biblionumber and biblioitemnumber in MARC
+    # FIXME - this is assuming a 1 to 1 relationship between
+    # biblios and biblioitems
+    my $sth = $dbh->prepare("select biblioitemnumber from biblioitems where biblionumber=?");
+    $sth->execute($biblionumber);
+    my ($biblioitemnumber) = $sth->fetchrow;
+    $sth->finish();
+    _koha_marc_update_bib_ids( $record, $frameworkcode, $biblionumber, $biblioitemnumber );
+
     # load the koha-table data object
     my $oldbiblio = TransformMarcToKoha( $dbh, $record, $frameworkcode );
 
+    # update MARC subfield that stores biblioitems.cn_sort
+    _koha_marc_update_biblioitem_cn_sort( $record, $oldbiblio, $frameworkcode );
+
+    # update the MARC record (that now contains biblio and items) with the new record data
+    &ModBiblioMarc( $record, $biblionumber, $frameworkcode );
+
     # modify the other koha tables
-    _koha_modify_biblio( $dbh, $oldbiblio );
-    _koha_modify_biblioitem( $dbh, $oldbiblio );
+    _koha_modify_biblio( $dbh, $oldbiblio, $frameworkcode );
+    _koha_modify_biblioitem_nonmarc( $dbh, $oldbiblio );
     return 1;
 }
 
-=head2 ModItem
-
-=over 2
+=head2 ModBiblioframework
 
-Exported function (core API) for modifying an item in Koha.
+   ModBiblioframework($biblionumber,$frameworkcode);
 
-=back
+Exported function to modify a biblio framework
 
 =cut
 
-sub ModItem {
-    my ( $record, $biblionumber, $itemnumber, $delete, $new_item_hashref )
-      = @_;
-    
-    #logging
-    &logaction(C4::Context->userenv->{'number'},"CATALOGUING","MODIFY",$itemnumber,$record->as_formatted) 
-        if C4::Context->preference("CataloguingLog");
-      
+sub ModBiblioframework {
+    my ( $biblionumber, $frameworkcode ) = @_;
     my $dbh = C4::Context->dbh;
-    
-    # if we have a MARC record, we're coming from cataloging and so
-    # we do the whole routine: update the MARC and zebra, then update the koha
-    # tables
-    if ($record) {
-        my $frameworkcode = GetFrameworkCode( $biblionumber );
-        ModItemInMarc( $record, $biblionumber, $itemnumber, $frameworkcode );
-        my $olditem       = TransformMarcToKoha( $dbh, $record, $frameworkcode );
-        _koha_modify_item( $dbh, $olditem );
-        return $biblionumber;
-    }
-
-    # otherwise, we're just looking to modify something quickly
-    # (like a status) so we just update the koha tables
-    elsif ($new_item_hashref) {
-        _koha_modify_item( $dbh, $new_item_hashref );
-    }
+    my $sth = $dbh->prepare( "UPDATE biblio SET frameworkcode=? WHERE biblionumber=?" );
+    $sth->execute( $frameworkcode, $biblionumber );
+    return 1;
 }
 
-sub ModItemTransfer {
-    my ( $itemnumber, $frombranch, $tobranch ) = @_;
-    
-    my $dbh = C4::Context->dbh;
-    
-    #new entry in branchtransfers....
-    my $sth = $dbh->prepare(
-        "INSERT INTO branchtransfers (itemnumber, frombranch, datesent, tobranch)
-        VALUES (?, ?, now(), ?)");
-    $sth->execute($itemnumber, $frombranch, $tobranch);
-    #update holdingbranch in items .....
-     $sth= $dbh->prepare(
-          "UPDATE items set holdingbranch = ? WHERE items.itemnumber = ?");
-    $sth->execute($tobranch,$itemnumber);
-    &ModDateLastSeen($itemnumber);
-    $sth = $dbh->prepare(
-        "SELECT biblionumber FROM items WHERE itemnumber=?"
-      );
-    $sth->execute($itemnumber);
-    while ( my ( $biblionumber ) = $sth->fetchrow ) {
-        &ModItemInMarconefield( $biblionumber, $itemnumber,
-            'items.holdingbranch', $tobranch );
-    }
-    return;
-}
+=head2 DelBiblio
 
-=head2 ModBiblioframework
+  my $error = &DelBiblio($dbh,$biblionumber);
 
-    ModBiblioframework($biblionumber,$frameworkcode);
-    Exported function to modify a biblio framework
+Exported function (core API) for deleting a biblio in koha.
+Deletes biblio record from Zebra and Koha tables (biblio,biblioitems,items)
+Also backs it up to deleted* tables
+Checks to make sure there are not issues on any of the items
+return:
+C<$error> : undef unless an error occurs
 
 =cut
 
-sub ModBiblioframework {
-    my ( $biblionumber, $frameworkcode ) = @_;
+sub DelBiblio {
+    my ($biblionumber) = @_;
     my $dbh = C4::Context->dbh;
-    my $sth = $dbh->prepare(
-        "UPDATE biblio SET frameworkcode=? WHERE biblionumber=$biblionumber"
-    );
-    $sth->execute($frameworkcode);
-    return 1;
-}
+    my $error;    # for error handling
 
-=head2 ModItemInMarconefield
+    # First make sure this biblio has no items attached
+    my $sth = $dbh->prepare("SELECT itemnumber FROM items WHERE biblionumber=?");
+    $sth->execute($biblionumber);
+    if ( my $itemnumber = $sth->fetchrow ) {
 
-=over
+        # Fix this to use a status the template can understand
+        $error .= "This Biblio has items attached, please delete them first before deleting this biblio ";
+    }
 
-modify only 1 field in a MARC item (mainly used for holdingbranch, but could also be used for status modif - moving a book to "lost" on a long overdu for example)
-&ModItemInMarconefield( $biblionumber, $itemnumber, $itemfield, $newvalue )
+    return $error if $error;
 
-=back
+    # We delete attached subscriptions
+    my $subscriptions = &C4::Serials::GetFullSubscriptionsFromBiblionumber($biblionumber);
+    foreach my $subscription (@$subscriptions) {
+        &C4::Serials::DelSubscription( $subscription->{subscriptionid} );
+    }
 
-=cut
+    # Delete in Zebra. Be careful NOT to move this line after _koha_delete_biblio
+    # for at least 2 reasons :
+    # - we need to read the biblio if NoZebra is set (to remove it from the indexes
+    # - if something goes wrong, the biblio may be deleted from Koha but not from zebra
+    #   and we would have no way to remove it (except manually in zebra, but I bet it would be very hard to handle the problem)
+    my $oldRecord;
+    if ( C4::Context->preference("NoZebra") ) {
 
-sub ModItemInMarconefield {
-    my ( $biblionumber, $itemnumber, $itemfield, $newvalue ) = @_;
-    my $dbh = C4::Context->dbh;
-    if ( !defined $newvalue ) {
-        $newvalue = "";
+        # only NoZebra indexing needs to have
+        # the previous version of the record
+        $oldRecord = GetMarcBiblio($biblionumber);
     }
+    ModZebra( $biblionumber, "recordDelete", "biblioserver", $oldRecord, undef );
 
-    my $record = GetMarcItem( $biblionumber, $itemnumber );
-    my ($tagfield, $tagsubfield) = GetMarcFromKohaField( $itemfield,'');
-    if ($tagfield && $tagsubfield) {
-        my $tag = $record->field($tagfield);
-        if ($tag) {
-#             my $tagsubs = $record->field($tagfield)->subfield($tagsubfield);
-            $tag->update( $tagsubfield => $newvalue );
-            $record->delete_field($tag);
-            $record->insert_fields_ordered($tag);
-            &ModItemInMarc( $record, $biblionumber, $itemnumber, 0 );
-        }
+    # delete biblioitems and items from Koha tables and save in deletedbiblioitems,deleteditems
+    $sth = $dbh->prepare("SELECT biblioitemnumber FROM biblioitems WHERE biblionumber=?");
+    $sth->execute($biblionumber);
+    while ( my $biblioitemnumber = $sth->fetchrow ) {
+
+        # delete this biblioitem
+        $error = _koha_delete_biblioitems( $dbh, $biblioitemnumber );
+        return $error if $error;
     }
+
+    # delete biblio from Koha tables and save in deletedbiblio
+    # must do this *after* _koha_delete_biblioitems, otherwise
+    # delete cascade will prevent deletedbiblioitems rows
+    # from being generated by _koha_delete_biblioitems
+    $error = _koha_delete_biblio( $dbh, $biblionumber );
+
+    logaction( "CATALOGUING", "DELETE", $biblionumber, "" ) if C4::Context->preference("CataloguingLog");
+
+    return;
 }
 
-=head2 ModItemInMarc
+=head2 LinkBibHeadingsToAuthorities
 
-=over
+  my $headings_linked = LinkBibHeadingsToAuthorities($marc);
 
-&ModItemInMarc( $record, $biblionumber, $itemnumber )
+Links bib headings to authority records by checking
+each authority-controlled field in the C<MARC::Record>
+object C<$marc>, looking for a matching authority record,
+and setting the linking subfield $9 to the ID of that
+authority record.  
 
-=back
+If no matching authority exists, or if multiple
+authorities match, no $9 will be added, and any 
+existing one inthe field will be deleted.
+
+Returns the number of heading links changed in the
+MARC record.
 
 =cut
 
-sub ModItemInMarc {
-    my ( $ItemRecord, $biblionumber, $itemnumber, $frameworkcode) = @_;
-    my $dbh = C4::Context->dbh;
-    
-    # get complete MARC record & replace the item field by the new one
-    my $completeRecord = GetMarcBiblio($biblionumber);
-    my ($itemtag,$itemsubfield) = GetMarcFromKohaField("items.itemnumber",$frameworkcode);
-    my $itemField = $ItemRecord->field($itemtag);
-    my @items = $completeRecord->field($itemtag);
-    foreach (@items) {
-        if ($_->subfield($itemsubfield) eq $itemnumber) {
-#             $completeRecord->delete_field($_);
-            $_->replace_with($itemField);
-        }
-    }
-    # save the record
-    my $sth = $dbh->prepare("update biblioitems set marc=?,marcxml=?  where biblionumber=?");
-    $sth->execute( $completeRecord->as_usmarc(), $completeRecord->as_xml_record(),$biblionumber );
-    $sth->finish;
-    ModZebra($biblionumber,"specialUpdate","biblioserver",$completeRecord);
-}
+sub LinkBibHeadingsToAuthorities {
+    my $bib = shift;
 
-=head2 ModDateLastSeen
+    my $num_headings_changed = 0;
+    foreach my $field ( $bib->fields() ) {
+        my $heading = C4::Heading->new_from_bib_field($field);
+        next unless defined $heading;
 
-&ModDateLastSeen($itemnum)
-Mark item as seen. Is called when an item is issued, returned or manually marked during inventory/stocktaking
-C<$itemnum> is the item number
+        # check existing $9
+        my $current_link = $field->subfield('9');
 
-=cut
+        # look for matching authorities
+        my $authorities = $heading->authorities();
 
-sub ModDateLastSeen {
-    my ($itemnum) = @_;
-    my $dbh       = C4::Context->dbh;
-    my $sth       =
-      $dbh->prepare(
-          "update items set itemlost=0, datelastseen  = now() where items.itemnumber = ?"
-      );
-    $sth->execute($itemnum);
-    return;
+        # want only one exact match
+        if ( $#{$authorities} == 0 ) {
+            my $authority = MARC::Record->new_from_usmarc( $authorities->[0] );
+            my $authid    = $authority->field('001')->data();
+            next if defined $current_link and $current_link eq $authid;
+
+            $field->delete_subfield( code => '9' ) if defined $current_link;
+            $field->add_subfields( '9', $authid );
+            $num_headings_changed++;
+        } else {
+            if ( defined $current_link ) {
+                $field->delete_subfield( code => '9' );
+                $num_headings_changed++;
+            }
+        }
+
+    }
+    return $num_headings_changed;
 }
-=head2 DelBiblio
 
-=over
+=head2 GetRecordValue
 
-my $error = &DelBiblio($dbh,$biblionumber);
-Exported function (core API) for deleting a biblio in koha.
-Deletes biblio record from Zebra and Koha tables (biblio,biblioitems,items)
-Also backs it up to deleted* tables
-Checks to make sure there are not issues on any of the items
-return:
-C<$error> : undef unless an error occurs
+  my $values = GetRecordValue($field, $record, $frameworkcode);
 
-=back
+Get MARC fields from a keyword defined in fieldmapping table.
 
 =cut
 
-sub DelBiblio {
-    my ( $biblionumber ) = @_;
+sub GetRecordValue {
+    my ( $field, $record, $frameworkcode ) = @_;
     my $dbh = C4::Context->dbh;
-    my $error;    # for error handling
 
-    # First make sure there are no items with issues are still attached
-    my $sth =
-      $dbh->prepare(
-        "SELECT itemnumber FROM items WHERE biblionumber=?");
-    $sth->execute($biblionumber);
-    while ( my $itemnumber = $sth->fetchrow ) {
-        my $issues = GetItemIssues($itemnumber);
-        foreach my $issue (@$issues) {
-            if (   ( $issue->{date_due} )
-                && ( $issue->{date_due} ne "Available" ) )
-            {
-
-#FIXME: we need a status system in Biblio like in Circ to return standard codes and messages
-# instead of hard-coded strings
-                $error .=
-"Item is checked out to a patron -- you must return it before deleting the Biblio";
+    my $sth = $dbh->prepare('SELECT fieldcode, subfieldcode FROM fieldmapping WHERE frameworkcode = ? AND field = ?');
+    $sth->execute( $frameworkcode, $field );
+
+    my @result = ();
+
+    while ( my $row = $sth->fetchrow_hashref ) {
+        foreach my $field ( $record->field( $row->{fieldcode} ) ) {
+            if ( ( $row->{subfieldcode} ne "" && $field->subfield( $row->{subfieldcode} ) ) ) {
+                foreach my $subfield ( $field->subfield( $row->{subfieldcode} ) ) {
+                    push @result, { 'subfield' => $subfield };
+                }
+
+            } elsif ( $row->{subfieldcode} eq "" ) {
+                push @result, { 'subfield' => $field->as_string() };
             }
         }
     }
-    return $error if $error;
 
-    # Delete in Zebra. Be careful NOT to move this line after _koha_delete_biblio
-    # for at least 2 reasons :
-    # - we need to read the biblio if NoZebra is set (to remove it from the indexes
-    # - if something goes wrong, the biblio may be deleted from Koha but not from zebra
-    #   and we would have no way to remove it (except manually in zebra, but I bet it would be very hard to handle the problem)
-    ModZebra($biblionumber, "delete_record", "biblioserver", undef);
+    return \@result;
+}
 
-    # delete biblio from Koha tables and save in deletedbiblio
-    $error = &_koha_delete_biblio( $dbh, $biblionumber );
+=head2 SetFieldMapping
 
-    # delete biblioitems and items from Koha tables and save in deletedbiblioitems,deleteditems
-    $sth =
-      $dbh->prepare(
-        "SELECT biblioitemnumber FROM biblioitems WHERE biblionumber=?");
-    $sth->execute($biblionumber);
-    while ( my $biblioitemnumber = $sth->fetchrow ) {
+  SetFieldMapping($framework, $field, $fieldcode, $subfieldcode);
 
-        # delete this biblioitem
-        $error = &_koha_delete_biblioitems( $dbh, $biblioitemnumber );
-        return $error if $error;
+Set a Field to MARC mapping value, if it already exists we don't add a new one.
 
-        # delete items
-        my $items_sth =
-          $dbh->prepare(
-            "SELECT itemnumber FROM items WHERE biblioitemnumber=?");
-        $items_sth->execute($biblioitemnumber);
-        while ( my $itemnumber = $items_sth->fetchrow ) {
-            $error = &_koha_delete_item( $dbh, $itemnumber );
-            return $error if $error;
-        }
+=cut
+
+sub SetFieldMapping {
+    my ( $framework, $field, $fieldcode, $subfieldcode ) = @_;
+    my $dbh = C4::Context->dbh;
+
+    my $sth = $dbh->prepare('SELECT * FROM fieldmapping WHERE fieldcode = ? AND subfieldcode = ? AND frameworkcode = ? AND field = ?');
+    $sth->execute( $fieldcode, $subfieldcode, $framework, $field );
+    if ( not $sth->fetchrow_hashref ) {
+        my @args;
+        $sth = $dbh->prepare('INSERT INTO fieldmapping (fieldcode, subfieldcode, frameworkcode, field) VALUES(?,?,?,?)');
+
+        $sth->execute( $fieldcode, $subfieldcode, $framework, $field );
     }
-    &logaction(C4::Context->userenv->{'number'},"CATALOGUING","DELETE",$biblionumber,"") 
-        if C4::Context->preference("CataloguingLog");
-    return;
 }
 
-=head2 DelItem
+=head2 DeleteFieldMapping
 
-=over
+  DeleteFieldMapping($id);
 
-DelItem( $biblionumber, $itemnumber );
-Exported function (core API) for deleting an item record in Koha.
+Delete a field mapping from an $id.
 
-=back
+=cut
+
+sub DeleteFieldMapping {
+    my ($id) = @_;
+    my $dbh = C4::Context->dbh;
+
+    my $sth = $dbh->prepare('DELETE FROM fieldmapping WHERE id = ?');
+    $sth->execute($id);
+}
+
+=head2 GetFieldMapping
+
+  GetFieldMapping($frameworkcode);
+
+Get all field mappings for a specified frameworkcode
 
 =cut
 
-sub DelItem {
-    my ( $biblionumber, $itemnumber ) = @_;
+sub GetFieldMapping {
+    my ($framework) = @_;
     my $dbh = C4::Context->dbh;
-    &_koha_delete_item( $dbh, $itemnumber );
-    # get the MARC record
-    my $record = GetMarcBiblio($biblionumber);
-    my $frameworkcode = GetFrameworkCode($biblionumber);
 
-    # backup the record
-    my $copy2deleted =
-      $dbh->prepare("UPDATE deleteditems SET marc=? WHERE itemnumber=?");
-    $copy2deleted->execute( $record->as_usmarc(), $itemnumber );
-
-    #search item field code
-    my ( $itemtag, $itemsubfield ) = GetMarcFromKohaField("items.itemnumber",$frameworkcode);
-    my @fields = $record->field($itemtag);
-    # delete the item specified
-    foreach my $field (@fields) {
-        if ( $field->subfield($itemsubfield) eq $itemnumber ) {
-            $record->delete_field($field);
-        }
+    my $sth = $dbh->prepare('SELECT * FROM fieldmapping where frameworkcode = ?');
+    $sth->execute($framework);
+
+    my @return;
+    while ( my $row = $sth->fetchrow_hashref ) {
+        push @return, $row;
     }
-    &ModBiblioMarc( $record, $biblionumber, $frameworkcode );
-    &logaction(C4::Context->userenv->{'number'},"CATALOGUING","DELETE",$itemnumber,"item") 
-        if C4::Context->preference("CataloguingLog");
+    return \@return;
 }
 
 =head2 GetBiblioData
 
-=over 4
+  $data = &GetBiblioData($biblionumber);
 
-$data = &GetBiblioData($biblionumber);
 Returns information about the book with the given biblionumber.
 C<&GetBiblioData> returns a reference-to-hash. The keys are the fields in
 the C<biblio> and C<biblioitems> tables in the
 Koha database.
+
 In addition, C<$data-E<gt>{subject}> is the list of the book's
 subjects, separated by C<" , "> (space, comma, space).
 If there are multiple biblioitems with the given biblionumber, only
 the first one is considered.
 
-=back
-
 =cut
 
 sub GetBiblioData {
-    my ( $bibnum ) = @_;
+    my ($bibnum) = @_;
     my $dbh = C4::Context->dbh;
 
-    my $query = "
-        SELECT * , biblioitems.notes AS bnotes, biblio.notes
-        FROM biblio
+    #  my $query =  C4::Context->preference('item-level_itypes') ?
+    #   " SELECT * , biblioitems.notes AS bnotes, biblio.notes
+    #       FROM biblio
+    #        LEFT JOIN biblioitems ON biblio.biblionumber = biblioitems.biblionumber
+    #       WHERE biblio.biblionumber = ?
+    #        AND biblioitems.biblionumber = biblio.biblionumber
+    #";
+
+    my $query = " SELECT * , biblioitems.notes AS bnotes, itemtypes.notforloan as bi_notforloan, biblio.notes
+            FROM biblio
             LEFT JOIN biblioitems ON biblio.biblionumber = biblioitems.biblionumber
             LEFT JOIN itemtypes ON biblioitems.itemtype = itemtypes.itemtype
-        WHERE biblio.biblionumber = ?
-            AND biblioitems.biblionumber = biblio.biblionumber
-    ";
+            WHERE biblio.biblionumber = ?
+            AND biblioitems.biblionumber = biblio.biblionumber ";
+
     my $sth = $dbh->prepare($query);
     $sth->execute($bibnum);
     my $data;
@@ -729,566 +634,240 @@ sub GetBiblioData {
     return ($data);
 }    # sub GetBiblioData
 
+=head2 &GetBiblioItemData
 
-=head2 GetItemsInfo
+  $itemdata = &GetBiblioItemData($biblioitemnumber);
 
-=over 4
+Looks up the biblioitem with the given biblioitemnumber. Returns a
+reference-to-hash. The keys are the fields from the C<biblio>,
+C<biblioitems>, and C<itemtypes> tables in the Koha database, except
+that C<biblioitems.notes> is given as C<$itemdata-E<gt>{bnotes}>.
 
-  @results = &GetItemsInfo($biblionumber, $type);
+=cut
 
-Returns information about books with the given biblionumber.
+#'
+sub GetBiblioItemData {
+    my ($biblioitemnumber) = @_;
+    my $dbh                = C4::Context->dbh;
+    my $query              = "SELECT *,biblioitems.notes AS bnotes
+        FROM biblio LEFT JOIN biblioitems on biblio.biblionumber=biblioitems.biblionumber ";
+    unless ( C4::Context->preference('item-level_itypes') ) {
+        $query .= "LEFT JOIN itemtypes on biblioitems.itemtype=itemtypes.itemtype ";
+    }
+    $query .= " WHERE biblioitemnumber = ? ";
+    my $sth = $dbh->prepare($query);
+    my $data;
+    $sth->execute($biblioitemnumber);
+    $data = $sth->fetchrow_hashref;
+    $sth->finish;
+    return ($data);
+}    # sub &GetBiblioItemData
 
-C<$type> may be either C<intra> or anything else. If it is not set to
-C<intra>, then the search will exclude lost, very overdue, and
-withdrawn items.
+=head2 GetBiblioItemByBiblioNumber
 
-C<&GetItemsInfo> returns a list of references-to-hash. Each element
-contains a number of keys. Most of them are table items from the
-C<biblio>, C<biblioitems>, C<items>, and C<itemtypes> tables in the
-Koha database. Other keys include:
+NOTE : This function has been copy/paste from C4/Biblio.pm from head before zebra integration.
 
-=over 4
+=cut
 
-=item C<$data-E<gt>{branchname}>
+sub GetBiblioItemByBiblioNumber {
+    my ($biblionumber) = @_;
+    my $dbh            = C4::Context->dbh;
+    my $sth            = $dbh->prepare("Select * FROM biblioitems WHERE biblionumber = ?");
+    my $count          = 0;
+    my @results;
 
-The name (not the code) of the branch to which the book belongs.
-
-=item C<$data-E<gt>{datelastseen}>
-
-This is simply C<items.datelastseen>, except that while the date is
-stored in YYYY-MM-DD format in the database, here it is converted to
-DD/MM/YYYY format. A NULL date is returned as C<//>.
-
-=item C<$data-E<gt>{datedue}>
-
-=item C<$data-E<gt>{class}>
-
-This is the concatenation of C<biblioitems.classification>, the book's
-Dewey code, and C<biblioitems.subclass>.
-
-=item C<$data-E<gt>{ocount}>
-
-I think this is the number of copies of the book available.
-
-=item C<$data-E<gt>{order}>
-
-If this is set, it is set to C<One Order>.
-
-=back
-
-=back
-
-=cut
-
-sub GetItemsInfo {
-    my ( $biblionumber, $type ) = @_;
-    my $dbh   = C4::Context->dbh;
-    my $query = "SELECT *,items.notforloan as itemnotforloan
-                 FROM items 
-                 LEFT JOIN biblio ON biblio.biblionumber = items.biblionumber
-                 LEFT JOIN biblioitems ON biblioitems.biblioitemnumber = items.biblioitemnumber
-                 LEFT JOIN itemtypes on biblioitems.itemtype = itemtypes.itemtype
-                WHERE items.biblionumber = ?
-                ORDER BY items.dateaccessioned desc
-                 ";
-    my $sth = $dbh->prepare($query);
-    $sth->execute($biblionumber);
-    my $i = 0;
-    my @results;
-    my ( $date_due, $count_reserves );
+    $sth->execute($biblionumber);
 
     while ( my $data = $sth->fetchrow_hashref ) {
-        my $datedue = '';
-        my $isth    = $dbh->prepare(
-            "SELECT issues.*,borrowers.cardnumber,borrowers.surname,borrowers.firstname
-            FROM   issues LEFT JOIN borrowers ON issues.borrowernumber=borrowers.borrowernumber
-            WHERE  itemnumber = ?
-                AND returndate IS NULL"
-        );
-        $isth->execute( $data->{'itemnumber'} );
-        if ( my $idata = $isth->fetchrow_hashref ) {
-            $data->{borrowernumber} = $idata->{borrowernumber};
-            $data->{cardnumber}     = $idata->{cardnumber};
-            $data->{surname}     = $idata->{surname};
-            $data->{firstname}     = $idata->{firstname};
-            $datedue                = format_date( $idata->{'date_due'} );
-        }
-        if ( $datedue eq '' ) {
-            #$datedue="Available";
-            my ( $restype, $reserves ) =
-              C4::Reserves::CheckReserves( $data->{'itemnumber'} );
-            if ($restype) {
-
-                #$datedue=$restype;
-                $count_reserves = $restype;
-            }
-        }
-        $isth->finish;
-
-        #get branch information.....
-        my $bsth = $dbh->prepare(
-            "SELECT * FROM branches WHERE branchcode = ?
-        "
-        );
-        $bsth->execute( $data->{'holdingbranch'} );
-        if ( my $bdata = $bsth->fetchrow_hashref ) {
-            $data->{'branchname'} = $bdata->{'branchname'};
-        }
-        my $date = format_date( $data->{'datelastseen'} );
-        $data->{'datelastseen'}   = $date;
-        $data->{'datedue'}        = $datedue;
-        $data->{'count_reserves'} = $count_reserves;
-
-        # get notforloan complete status if applicable
-        my $sthnflstatus = $dbh->prepare(
-            'SELECT authorised_value
-            FROM   marc_subfield_structure
-            WHERE  kohafield="items.notforloan"
-        '
-        );
-
-        $sthnflstatus->execute;
-        my ($authorised_valuecode) = $sthnflstatus->fetchrow;
-        if ($authorised_valuecode) {
-            $sthnflstatus = $dbh->prepare(
-                "SELECT lib FROM authorised_values
-                 WHERE  category=?
-                 AND authorised_value=?"
-            );
-            $sthnflstatus->execute( $authorised_valuecode,
-                $data->{itemnotforloan} );
-            my ($lib) = $sthnflstatus->fetchrow;
-            $data->{notforloan} = $lib;
-        }
-
-        # my stack procedures
-        my $stackstatus = $dbh->prepare(
-            'SELECT authorised_value
-             FROM   marc_subfield_structure
-             WHERE  kohafield="items.stack"
-        '
-        );
-        $stackstatus->execute;
-
-        ($authorised_valuecode) = $stackstatus->fetchrow;
-        if ($authorised_valuecode) {
-            $stackstatus = $dbh->prepare(
-                "SELECT lib
-                 FROM   authorised_values
-                 WHERE  category=?
-                 AND    authorised_value=?
-            "
-            );
-            $stackstatus->execute( $authorised_valuecode, $data->{stack} );
-            my ($lib) = $stackstatus->fetchrow;
-            $data->{stack} = $lib;
-        }
-        $results[$i] = $data;
-        $i++;
-    }
-    $sth->finish;
-
-    return (@results);
-}
-
-=head2 getitemstatus
-
-=over 4
-
-$itemstatushash = &getitemstatus($fwkcode);
-returns information about status.
-Can be MARC dependant.
-fwkcode is optional.
-But basically could be can be loan or not
-Create a status selector with the following code
-
-=head3 in PERL SCRIPT
-
-my $itemstatushash = getitemstatus;
-my @itemstatusloop;
-foreach my $thisstatus (keys %$itemstatushash) {
-    my %row =(value => $thisstatus,
-                statusname => $itemstatushash->{$thisstatus}->{'statusname'},
-            );
-    push @itemstatusloop, \%row;
-}
-$template->param(statusloop=>\@itemstatusloop);
-
-
-=head3 in TEMPLATE
-
-            <select name="statusloop">
-                <option value="">Default</option>
-            <!-- TMPL_LOOP name="statusloop" -->
-                <option value="<!-- TMPL_VAR name="value" -->" <!-- TMPL_IF name="selected" -->selected<!-- /TMPL_IF -->><!-- TMPL_VAR name="statusname" --></option>
-            <!-- /TMPL_LOOP -->
-            </select>
-
-=cut
-
-sub GetItemStatus {
-
-    # returns a reference to a hash of references to status...
-    my ($fwk) = @_;
-    my %itemstatus;
-    my $dbh = C4::Context->dbh;
-    my $sth;
-    $fwk = '' unless ($fwk);
-    my ( $tag, $subfield ) =
-      GetMarcFromKohaField( "items.notforloan", $fwk );
-    if ( $tag and $subfield ) {
-        my $sth =
-          $dbh->prepare(
-"select authorised_value from marc_subfield_structure where tagfield=? and tagsubfield=? and frameworkcode=?"
-          );
-        $sth->execute( $tag, $subfield, $fwk );
-        if ( my ($authorisedvaluecat) = $sth->fetchrow ) {
-            my $authvalsth =
-              $dbh->prepare(
-"select authorised_value, lib from authorised_values where category=? order by lib"
-              );
-            $authvalsth->execute($authorisedvaluecat);
-            while ( my ( $authorisedvalue, $lib ) = $authvalsth->fetchrow ) {
-                $itemstatus{$authorisedvalue} = $lib;
-            }
-            $authvalsth->finish;
-            return \%itemstatus;
-            exit 1;
-        }
-        else {
-
-            #No authvalue list
-            # build default
-        }
-        $sth->finish;
-    }
-
-    #No authvalue list
-    #build default
-    $itemstatus{"1"} = "Not For Loan";
-    return \%itemstatus;
-}
-
-=head2 getitemlocation
-
-=over 4
-
-$itemlochash = &getitemlocation($fwk);
-returns informations about location.
-where fwk stands for an optional framework code.
-Create a location selector with the following code
-
-=head3 in PERL SCRIPT
-
-my $itemlochash = getitemlocation;
-my @itemlocloop;
-foreach my $thisloc (keys %$itemlochash) {
-    my $selected = 1 if $thisbranch eq $branch;
-    my %row =(locval => $thisloc,
-                selected => $selected,
-                locname => $itemlochash->{$thisloc},
-            );
-    push @itemlocloop, \%row;
-}
-$template->param(itemlocationloop => \@itemlocloop);
-
-=head3 in TEMPLATE
-
-<select name="location">
-    <option value="">Default</option>
-<!-- TMPL_LOOP name="itemlocationloop" -->
-    <option value="<!-- TMPL_VAR name="locval" -->" <!-- TMPL_IF name="selected" -->selected<!-- /TMPL_IF -->><!-- TMPL_VAR name="locname" --></option>
-<!-- /TMPL_LOOP -->
-</select>
-
-=back
-
-=cut
-
-sub GetItemLocation {
-
-    # returns a reference to a hash of references to location...
-    my ($fwk) = @_;
-    my %itemlocation;
-    my $dbh = C4::Context->dbh;
-    my $sth;
-    $fwk = '' unless ($fwk);
-    my ( $tag, $subfield ) =
-      GetMarcFromKohaField( "items.location", $fwk );
-    if ( $tag and $subfield ) {
-        my $sth =
-          $dbh->prepare(
-"select authorised_value from marc_subfield_structure where tagfield=? and tagsubfield=? and frameworkcode=?"
-          );
-        $sth->execute( $tag, $subfield, $fwk );
-        if ( my ($authorisedvaluecat) = $sth->fetchrow ) {
-            my $authvalsth =
-              $dbh->prepare(
-"select authorised_value, lib from authorised_values where category=? order by lib"
-              );
-            $authvalsth->execute($authorisedvaluecat);
-            while ( my ( $authorisedvalue, $lib ) = $authvalsth->fetchrow ) {
-                $itemlocation{$authorisedvalue} = $lib;
-            }
-            $authvalsth->finish;
-            return \%itemlocation;
-            exit 1;
-        }
-        else {
-
-            #No authvalue list
-            # build default
-        }
-        $sth->finish;
+        push @results, $data;
     }
 
-    #No authvalue list
-    #build default
-    $itemlocation{"1"} = "Not For Loan";
-    return \%itemlocation;
+    $sth->finish;
+    return @results;
 }
 
-=head2 GetLostItems
-
-$items = GetLostItems($where,$orderby);
-
-This function get the items lost into C<$items>.
-
-=over 2
-
-=item input:
-C<$where> is a hashref. it containts a field of the items table as key
-and the value to match as value.
-C<$orderby> is a field of the items table.
+=head2 GetBiblionumberFromItemnumber
 
-=item return:
-C<$items> is a reference to an array full of hasref which keys are items' table column.
-
-=item usage in the perl script:
-
-my %where;
-$where{barcode} = 0001548;
-my $items = GetLostItems( \%where, "homebranch" );
-$template->param(itemsloop => $items);
-
-=back
 
 =cut
 
-sub GetLostItems {
-    # Getting input args.
-    my $where   = shift;
-    my $orderby = shift;
-    my $dbh     = C4::Context->dbh;
+sub GetBiblionumberFromItemnumber {
+    my ($itemnumber) = @_;
+    my $dbh            = C4::Context->dbh;
+    my $sth            = $dbh->prepare("Select biblionumber FROM items WHERE itemnumber = ?");
 
-    my $query   = "
-        SELECT *
-        FROM   items
-        WHERE  itemlost IS NOT NULL
-          AND  itemlost <> 0
-    ";
-    foreach my $key (keys %$where) {
-        $query .= " AND " . $key . " LIKE '%" . $where->{$key} . "%'";
-    }
-    $query .= " ORDER BY ".$orderby if defined $orderby;
-
-    my $sth = $dbh->prepare($query);
-    $sth->execute;
-    my @items;
-    while ( my $row = $sth->fetchrow_hashref ){
-        push @items, $row;
-    }
-    return \@items;
+    $sth->execute($itemnumber);
+    my ($result) = $sth->fetchrow;
+    return ($result);
 }
 
-=head2 GetItemsForInventory
-
-$itemlist = GetItemsForInventory($minlocation,$maxlocation,$datelastseen,$offset,$size)
+=head2 GetBiblioFromItemNumber
 
-Retrieve a list of title/authors/barcode/callnumber, for biblio inventory.
+  $item = &GetBiblioFromItemNumber($itemnumber,$barcode);
 
-The sub returns a list of hashes, containing itemnumber, author, title, barcode & item callnumber.
-It is ordered by callnumber,title.
+Looks up the item with the given itemnumber. if undef, try the barcode.
 
-The minlocation & maxlocation parameters are used to specify a range of item callnumbers
-the datelastseen can be used to specify that you want to see items not seen since a past date only.
-offset & size can be used to retrieve only a part of the whole listing (defaut behaviour)
+C<&itemnodata> returns a reference-to-hash whose keys are the fields
+from the C<biblio>, C<biblioitems>, and C<items> tables in the Koha
+database.
 
 =cut
 
-sub GetItemsForInventory {
-    my ( $minlocation, $maxlocation,$location, $datelastseen, $branch, $offset, $size ) = @_;
+#'
+sub GetBiblioFromItemNumber {
+    my ( $itemnumber, $barcode ) = @_;
     my $dbh = C4::Context->dbh;
     my $sth;
-    if ($datelastseen) {
-        $datelastseen=format_date_in_iso($datelastseen);  
-        my $query =
-                "SELECT itemnumber,barcode,itemcallnumber,title,author,biblio.biblionumber,datelastseen
-                 FROM items
-                   LEFT JOIN biblio ON items.biblionumber=biblio.biblionumber 
-                 WHERE itemcallnumber>= ?
-                   AND itemcallnumber <=?
-                   AND (datelastseen< ? OR datelastseen IS NULL)";
-        $query.= " AND items.location=".$dbh->quote($location) if $location;
-        $query.= " AND items.homebranch=".$dbh->quote($branch) if $branch;
-        $query .= " ORDER BY itemcallnumber,title";
-        $sth = $dbh->prepare($query);
-        $sth->execute( $minlocation, $maxlocation, $datelastseen );
-    }
-    else {
-        my $query ="
-                SELECT itemnumber,barcode,itemcallnumber,biblio.biblionumber,title,author,datelastseen
-                FROM items 
-                  LEFT JOIN biblio ON items.biblionumber=biblio.biblionumber 
-                WHERE itemcallnumber>= ?
-                  AND itemcallnumber <=?";
-        $query.= " AND items.location=".$dbh->quote($location) if $location;
-        $query.= " AND items.homebranch=".$dbh->quote($branch) if $branch;
-        $query .= " ORDER BY itemcallnumber,title";
-        $sth = $dbh->prepare($query);
-        $sth->execute( $minlocation, $maxlocation );
-    }
-    my @results;
-    while ( my $row = $sth->fetchrow_hashref ) {
-        $offset-- if ($offset);
-        $row->{datelastseen}=format_date($row->{datelastseen});
-        if ( ( !$offset ) && $size ) {
-            push @results, $row;
-            $size--;
-        }
+    if ($itemnumber) {
+        $sth = $dbh->prepare(
+            "SELECT * FROM items 
+            LEFT JOIN biblio ON biblio.biblionumber = items.biblionumber
+            LEFT JOIN biblioitems ON biblioitems.biblioitemnumber = items.biblioitemnumber
+             WHERE items.itemnumber = ?"
+        );
+        $sth->execute($itemnumber);
+    } else {
+        $sth = $dbh->prepare(
+            "SELECT * FROM items 
+            LEFT JOIN biblio ON biblio.biblionumber = items.biblionumber
+            LEFT JOIN biblioitems ON biblioitems.biblioitemnumber = items.biblioitemnumber
+             WHERE items.barcode = ?"
+        );
+        $sth->execute($barcode);
     }
-    return \@results;
-}
-
-=head2 &GetBiblioItemData
-
-=over 4
-
-$itemdata = &GetBiblioItemData($biblioitemnumber);
-
-Looks up the biblioitem with the given biblioitemnumber. Returns a
-reference-to-hash. The keys are the fields from the C<biblio>,
-C<biblioitems>, and C<itemtypes> tables in the Koha database, except
-that C<biblioitems.notes> is given as C<$itemdata-E<gt>{bnotes}>.
-
-=back
-
-=cut
-
-#'
-sub GetBiblioItemData {
-    my ($biblioitemnumber) = @_;
-    my $dbh       = C4::Context->dbh;
-    my $sth       =
-      $dbh->prepare(
-       "SELECT *,biblioitems.notes AS bnotes
-               FROM biblioitems,biblio,itemtypes 
-       WHERE biblio.biblionumber = biblioitems.biblionumber 
-               AND biblioitemnumber = ? "
-      );
-    my $data;
-    $sth->execute($biblioitemnumber);
-    $data = $sth->fetchrow_hashref;
+    my $data = $sth->fetchrow_hashref;
     $sth->finish;
     return ($data);
-}    # sub &GetBiblioItemData
-
-=head2 GetItemnumberFromBarcode
-
-=over 4
-
-$result = GetItemnumberFromBarcode($barcode);
-
-=back
-
-=cut
-
-sub GetItemnumberFromBarcode {
-    my ($barcode) = @_;
-    my $dbh = C4::Context->dbh;
-
-    my $rq =
-      $dbh->prepare("SELECT itemnumber from items where items.barcode=?");
-    $rq->execute($barcode);
-    my ($result) = $rq->fetchrow;
-    return ($result);
 }
 
-=head2 GetBiblioItemByBiblioNumber
+=head2 GetISBDView 
 
-=over 4
+  $isbd = &GetISBDView($biblionumber);
 
-NOTE : This function has been copy/paste from C4/Biblio.pm from head before zebra integration.
-
-=back
+Return the ISBD view which can be included in opac and intranet
 
 =cut
 
-sub GetBiblioItemByBiblioNumber {
-    my ($biblionumber) = @_;
-    my $dbh = C4::Context->dbh;
-    my $sth = $dbh->prepare("Select * from biblioitems where biblionumber = ?");
-    my $count = 0;
-    my @results;
+sub GetISBDView {
+    my ( $biblionumber, $template ) = @_;
+    my $record   = GetMarcBiblio($biblionumber);
+    my $itemtype = &GetFrameworkCode($biblionumber);
+    my ( $holdingbrtagf, $holdingbrtagsubf ) = &GetMarcFromKohaField( "items.holdingbranch", $itemtype );
+    my $tagslib = &GetMarcStructure( 1, $itemtype );
 
-    $sth->execute($biblionumber);
+    my $ISBD = C4::Context->preference('ISBD');
+    my $bloc = $ISBD;
+    my $res;
+    my $blocres;
 
-    while ( my $data = $sth->fetchrow_hashref ) {
-        push @results, $data;
-    }
+    foreach my $isbdfield ( split( /#/, $bloc ) ) {
 
-    $sth->finish;
-    return @results;
-}
+        #         $isbdfield= /(.?.?.?)/;
+        $isbdfield =~ /(\d\d\d)([^\|])?\|(.*)\|(.*)\|(.*)/;
+        my $fieldvalue = $1 || 0;
+        my $subfvalue  = $2 || "";
+        my $textbefore = $3;
+        my $analysestring = $4;
+        my $textafter     = $5;
 
-=head2 GetBiblioFromItemNumber
+        #         warn "==> $1 / $2 / $3 / $4";
+        #         my $fieldvalue=substr($isbdfield,0,3);
+        if ( $fieldvalue > 0 ) {
+            my $hasputtextbefore = 0;
+            my @fieldslist       = $record->field($fieldvalue);
+            @fieldslist = sort { $a->subfield($holdingbrtagsubf) cmp $b->subfield($holdingbrtagsubf) } @fieldslist if ( $fieldvalue eq $holdingbrtagf );
 
-=over 4
+            #         warn "ERROR IN ISBD DEFINITION at : $isbdfield" unless $fieldvalue;
+            #             warn "FV : $fieldvalue";
+            if ( $subfvalue ne "" ) {
+                foreach my $field (@fieldslist) {
+                    foreach my $subfield ( $field->subfield($subfvalue) ) {
+                        my $calculated = $analysestring;
+                        my $tag        = $field->tag();
+                        if ( $tag < 10 ) {
+                        } else {
+                            my $subfieldvalue = GetAuthorisedValueDesc( $tag, $subfvalue, $subfield, '', $tagslib );
+                            my $tagsubf = $tag . $subfvalue;
+                            $calculated =~ s/\{(.?.?.?.?)$tagsubf(.*?)\}/$1$subfieldvalue$2\{$1$tagsubf$2\}/g;
+                            if ( $template eq "opac" ) { $calculated =~ s#/cgi-bin/koha/[^/]+/([^.]*.pl\?.*)$#opac-$1#g; }
+
+                            # field builded, store the result
+                            if ( $calculated && !$hasputtextbefore ) {    # put textbefore if not done
+                                $blocres .= $textbefore;
+                                $hasputtextbefore = 1;
+                            }
 
-$item = &GetBiblioFromItemNumber($itemnumber);
+                            # remove punctuation at start
+                            $calculated =~ s/^( |;|:|\.|-)*//g;
+                            $blocres .= $calculated;
 
-Looks up the item with the given itemnumber.
+                        }
+                    }
+                }
+                $blocres .= $textafter if $hasputtextbefore;
+            } else {
+                foreach my $field (@fieldslist) {
+                    my $calculated = $analysestring;
+                    my $tag        = $field->tag();
+                    if ( $tag < 10 ) {
+                    } else {
+                        my @subf = $field->subfields;
+                        for my $i ( 0 .. $#subf ) {
+                            my $valuecode     = $subf[$i][1];
+                            my $subfieldcode  = $subf[$i][0];
+                            my $subfieldvalue = GetAuthorisedValueDesc( $tag, $subf[$i][0], $subf[$i][1], '', $tagslib );
+                            my $tagsubf       = $tag . $subfieldcode;
+
+                            $calculated =~ s/                  # replace all {{}} codes by the value code.
+                                  \{\{$tagsubf\}\} # catch the {{actualcode}}
+                                /
+                                  $valuecode     # replace by the value code
+                               /gx;
+
+                            $calculated =~ s/\{(.?.?.?.?)$tagsubf(.*?)\}/$1$subfieldvalue$2\{$1$tagsubf$2\}/g;
+                            if ( $template eq "opac" ) { $calculated =~ s#/cgi-bin/koha/[^/]+/([^.]*.pl\?.*)$#opac-$1#g; }
+                        }
 
-C<&itemnodata> returns a reference-to-hash whose keys are the fields
-from the C<biblio>, C<biblioitems>, and C<items> tables in the Koha
-database.
+                        # field builded, store the result
+                        if ( $calculated && !$hasputtextbefore ) {    # put textbefore if not done
+                            $blocres .= $textbefore;
+                            $hasputtextbefore = 1;
+                        }
 
-=back
+                        # remove punctuation at start
+                        $calculated =~ s/^( |;|:|\.|-)*//g;
+                        $blocres .= $calculated;
+                    }
+                }
+                $blocres .= $textafter if $hasputtextbefore;
+            }
+        } else {
+            $blocres .= $isbdfield;
+        }
+    }
+    $res .= $blocres;
 
-=cut
+    $res =~ s/\{(.*?)\}//g;
+    $res =~ s/\\n/\n/g;
+    $res =~ s/\n/<br\/>/g;
 
-#'
-sub GetBiblioFromItemNumber {
-    my ( $itemnumber ) = @_;
-    my $dbh = C4::Context->dbh;
-    my $sth = $dbh->prepare(
-        "SELECT * FROM items 
-        LEFT JOIN biblio ON biblio.biblionumber = items.biblionumber
-        LEFT JOIN biblioitems ON biblioitems.biblioitemnumber = items.biblioitemnumber
-         WHERE items.itemnumber = ?"
-    );
+    # remove empty ()
+    $res =~ s/\(\)//g;
 
-    $sth->execute($itemnumber);
-    my $data = $sth->fetchrow_hashref;
-    $sth->finish;
-    return ($data);
+    return $res;
 }
 
 =head2 GetBiblio
 
-=over 4
-
-( $count, @results ) = &GetBiblio($biblionumber);
-
-=back
+  ( $count, @results ) = &GetBiblio($biblionumber);
 
 =cut
 
 sub GetBiblio {
     my ($biblionumber) = @_;
-    my $dbh = C4::Context->dbh;
-    my $sth = $dbh->prepare("Select * from biblio where biblionumber = ?");
-    my $count = 0;
+    my $dbh            = C4::Context->dbh;
+    my $sth            = $dbh->prepare("SELECT * FROM biblio WHERE biblionumber = ?");
+    my $count          = 0;
     my @results;
     $sth->execute($biblionumber);
     while ( my $data = $sth->fetchrow_hashref ) {
@@ -1299,168 +878,9 @@ sub GetBiblio {
     return ( $count, @results );
 }    # sub GetBiblio
 
-=head2 GetItem
-
-=over 4
-
-$data = &GetItem($itemnumber,$barcode);
-
-return Item information, for a given itemnumber or barcode
-
-=back
-
-=cut
-
-sub GetItem {
-    my ($itemnumber,$barcode) = @_;
-    my $dbh = C4::Context->dbh;
-    if ($itemnumber) {
-        my $sth = $dbh->prepare("
-            SELECT * FROM items 
-            WHERE itemnumber = ?");
-        $sth->execute($itemnumber);
-        my $data = $sth->fetchrow_hashref;
-        return $data;
-    } else {
-        my $sth = $dbh->prepare("
-            SELECT * FROM items 
-            WHERE barcode = ?"
-            );
-        $sth->execute($barcode);
-        my $data = $sth->fetchrow_hashref;
-        return $data;
-    }
-}    # sub GetItem
-
-=head2 get_itemnumbers_of
-
-=over 4
-
-my @itemnumbers_of = get_itemnumbers_of(@biblionumbers);
-
-Given a list of biblionumbers, return the list of corresponding itemnumbers
-for each biblionumber.
-
-Return a reference on a hash where keys are biblionumbers and values are
-references on array of itemnumbers.
-
-=back
-
-=cut
-
-sub get_itemnumbers_of {
-    my @biblionumbers = @_;
-
-    my $dbh = C4::Context->dbh;
-
-    my $query = '
-        SELECT itemnumber,
-            biblionumber
-        FROM items
-        WHERE biblionumber IN (?' . ( ',?' x scalar @biblionumbers - 1 ) . ')
-    ';
-    my $sth = $dbh->prepare($query);
-    $sth->execute(@biblionumbers);
-
-    my %itemnumbers_of;
-
-    while ( my ( $itemnumber, $biblionumber ) = $sth->fetchrow_array ) {
-        push @{ $itemnumbers_of{$biblionumber} }, $itemnumber;
-    }
-
-    return \%itemnumbers_of;
-}
-
-=head2 GetItemInfosOf
-
-=over 4
-
-GetItemInfosOf(@itemnumbers);
-
-=back
-
-=cut
-
-sub GetItemInfosOf {
-    my @itemnumbers = @_;
-
-    my $query = '
-        SELECT *
-        FROM items
-        WHERE itemnumber IN (' . join( ',', @itemnumbers ) . ')
-    ';
-    return get_infos_of( $query, 'itemnumber' );
-}
-
-=head2 GetItemsByBiblioitemnumber
-
-=over 4
-
-GetItemsByBiblioitemnumber($biblioitemnumber);
-
-Returns an arrayref of hashrefs suitable for use in a TMPL_LOOP
-Called by moredetail.pl
-
-=back
-
-=cut
-
-sub GetItemsByBiblioitemnumber {
-       my ( $bibitem ) = @_;
-       my $dbh = C4::Context->dbh;
-       my $sth = $dbh->prepare("SELECT * FROM items WHERE items.biblioitemnumber = ?") || die $dbh->errstr;
-       # Get all items attached to a biblioitem
-    my $i = 0;
-    my @results; 
-    $sth->execute($bibitem) || die $sth->errstr;
-    while ( my $data = $sth->fetchrow_hashref ) {  
-               # Foreach item, get circulation information
-               my $sth2 = $dbh->prepare( "SELECT * FROM issues,borrowers
-                                   WHERE itemnumber = ?
-                                   AND returndate is NULL
-                                   AND issues.borrowernumber = borrowers.borrowernumber"
-        );
-        $sth2->execute( $data->{'itemnumber'} );
-        if ( my $data2 = $sth2->fetchrow_hashref ) {
-                       # if item is out, set the due date and who it is out too
-                       $data->{'date_due'}   = $data2->{'date_due'};
-                       $data->{'cardnumber'} = $data2->{'cardnumber'};
-                       $data->{'borrowernumber'}   = $data2->{'borrowernumber'};
-               }
-        else {
-                       # set date_due to blank, so in the template we check itemlost, and wthdrawn 
-                       $data->{'date_due'} = '';                                                                                                         
-               }    # else         
-        $sth2->finish;
-        # Find the last 3 people who borrowed this item.                  
-        my $query2 = "SELECT * FROM issues, borrowers WHERE itemnumber = ?
-                      AND issues.borrowernumber = borrowers.borrowernumber
-                      AND returndate is not NULL
-                      ORDER BY returndate desc,timestamp desc LIMIT 3";
-        $sth2 = $dbh->prepare($query2) || die $dbh->errstr;
-        $sth2->execute( $data->{'itemnumber'} ) || die $sth2->errstr;
-        my $i2 = 0;
-        while ( my $data2 = $sth2->fetchrow_hashref ) {
-                       $data->{"timestamp$i2"} = $data2->{'timestamp'};
-                       $data->{"card$i2"}      = $data2->{'cardnumber'};
-                       $data->{"borrower$i2"}  = $data2->{'borrowernumber'};
-                       $i2++;
-               }
-        $sth2->finish;
-        push(@results,$data);
-    } 
-    $sth->finish;
-    return (\@results); 
-}
-
-
 =head2 GetBiblioItemInfosOf
 
-=over 4
-
-GetBiblioItemInfosOf(@biblioitemnumbers);
-
-=back
+  GetBiblioItemInfosOf(@biblioitemnumbers);
 
 =cut
 
@@ -1481,56 +901,56 @@ sub GetBiblioItemInfosOf {
 
 =head2 GetMarcStructure
 
-=over 4
-
-$res = GetMarcStructure($forlibrarian,$frameworkcode);
+  $res = GetMarcStructure($forlibrarian,$frameworkcode);
 
 Returns a reference to a big hash of hash, with the Marc structure for the given frameworkcode
 $forlibrarian  :if set to 1, the MARC descriptions are the librarians ones, otherwise it's the public (OPAC) ones
 $frameworkcode : the framework code to read
 
-=back
-
 =cut
 
+# cache for results of GetMarcStructure -- needed
+# for batch jobs
+our $marc_structure_cache;
+
 sub GetMarcStructure {
     my ( $forlibrarian, $frameworkcode ) = @_;
-    my $dbh=C4::Context->dbh;
+    my $dbh = C4::Context->dbh;
     $frameworkcode = "" unless $frameworkcode;
-    my $sth;
-    my $libfield = ( $forlibrarian eq 1 ) ? 'liblibrarian' : 'libopac';
 
-    # check that framework exists
-    $sth =
-      $dbh->prepare(
-        "select count(*) from marc_tag_structure where frameworkcode=?");
-    $sth->execute($frameworkcode);
-    my ($total) = $sth->fetchrow;
-    $frameworkcode = "" unless ( $total > 0 );
-    $sth =
-      $dbh->prepare(
-"select tagfield,liblibrarian,libopac,mandatory,repeatable from marc_tag_structure where frameworkcode=? order by tagfield"
-      );
+    if ( defined $marc_structure_cache and exists $marc_structure_cache->{$forlibrarian}->{$frameworkcode} ) {
+        return $marc_structure_cache->{$forlibrarian}->{$frameworkcode};
+    }
+
+    #     my $sth = $dbh->prepare(
+    #         "SELECT COUNT(*) FROM marc_tag_structure WHERE frameworkcode=?");
+    #     $sth->execute($frameworkcode);
+    #     my ($total) = $sth->fetchrow;
+    #     $frameworkcode = "" unless ( $total > 0 );
+    my $sth = $dbh->prepare(
+        "SELECT tagfield,liblibrarian,libopac,mandatory,repeatable 
+        FROM marc_tag_structure 
+        WHERE frameworkcode=? 
+        ORDER BY tagfield"
+    );
     $sth->execute($frameworkcode);
     my ( $liblibrarian, $libopac, $tag, $res, $tab, $mandatory, $repeatable );
 
-    while ( ( $tag, $liblibrarian, $libopac, $mandatory, $repeatable ) =
-        $sth->fetchrow )
-    {
-        $res->{$tag}->{lib} =
-          ( $forlibrarian or !$libopac ) ? $liblibrarian : $libopac;
-          # why the hell do we need to explicitly decode utf8 ? 
-          # that's a good question, but we must do it...
-        $res->{$tab}->{tab}        = "";            # XXX
+    while ( ( $tag, $liblibrarian, $libopac, $mandatory, $repeatable ) = $sth->fetchrow ) {
+        $res->{$tag}->{lib}        = ( $forlibrarian or !$libopac ) ? $liblibrarian : $libopac;
+        $res->{$tag}->{tab}        = "";
         $res->{$tag}->{mandatory}  = $mandatory;
         $res->{$tag}->{repeatable} = $repeatable;
     }
 
-    $sth =
-      $dbh->prepare(
-"select tagfield,tagsubfield,liblibrarian,libopac,tab, mandatory, repeatable,authorised_value,authtypecode,value_builder,kohafield,seealso,hidden,isurl,link,defaultvalue from marc_subfield_structure where frameworkcode=? order by tagfield,tagsubfield"
+    $sth = $dbh->prepare(
+        "SELECT tagfield,tagsubfield,liblibrarian,libopac,tab,mandatory,repeatable,authorised_value,authtypecode,value_builder,kohafield,seealso,hidden,isurl,link,defaultvalue 
+         FROM   marc_subfield_structure 
+         WHERE  frameworkcode=? 
+         ORDER BY tagfield,tagsubfield
+        "
     );
-    
+
     $sth->execute($frameworkcode);
 
     my $subfield;
@@ -1545,19 +965,12 @@ sub GetMarcStructure {
     my $defaultvalue;
 
     while (
-        (
-            $tag,          $subfield,      $liblibrarian,
-            ,              $libopac,       $tab,
-            $mandatory,    $repeatable,    $authorised_value,
-            $authtypecode, $value_builder, $kohafield,
-            $seealso,      $hidden,        $isurl,
-            $link,$defaultvalue
+        (   $tag,          $subfield,      $liblibrarian, $libopac, $tab,    $mandatory, $repeatable, $authorised_value,
+            $authtypecode, $value_builder, $kohafield,    $seealso, $hidden, $isurl,     $link,       $defaultvalue
         )
         = $sth->fetchrow
-      )
-    {
-        $res->{$tag}->{$subfield}->{lib} =
-          ( $forlibrarian or !$libopac ) ? $liblibrarian : $libopac;
+      ) {
+        $res->{$tag}->{$subfield}->{lib}              = ( $forlibrarian or !$libopac ) ? $liblibrarian : $libopac;
         $res->{$tag}->{$subfield}->{tab}              = $tab;
         $res->{$tag}->{$subfield}->{mandatory}        = $mandatory;
         $res->{$tag}->{$subfield}->{repeatable}       = $repeatable;
@@ -1571,204 +984,354 @@ sub GetMarcStructure {
         $res->{$tag}->{$subfield}->{'link'}           = $link;
         $res->{$tag}->{$subfield}->{defaultvalue}     = $defaultvalue;
     }
+
+    $marc_structure_cache->{$forlibrarian}->{$frameworkcode} = $res;
+
     return $res;
 }
 
 =head2 GetUsedMarcStructure
 
-    the same function as GetMarcStructure expcet it just take field
-    in tab 0-9. (used field)
-    
-    my $results = GetUsedMarcStructure($frameworkcode);
-    
-    L<$results> is a ref to an array which each case containts a ref
-    to a hash which each keys is the columns from marc_subfield_structure
-    
-    L<$frameworkcode> is the framework code. 
-    
+The same function as GetMarcStructure except it just takes field
+in tab 0-9. (used field)
+
+  my $results = GetUsedMarcStructure($frameworkcode);
+
+C<$results> is a ref to an array which each case containts a ref
+to a hash which each keys is the columns from marc_subfield_structure
+
+C<$frameworkcode> is the framework code. 
+
 =cut
 
-sub GetUsedMarcStructure($){
+sub GetUsedMarcStructure($) {
     my $frameworkcode = shift || '';
-    my $dbh           = C4::Context->dbh;
-    my $query         = qq/
+    my $query = qq/
         SELECT *
         FROM   marc_subfield_structure
         WHERE   tab > -1 
             AND frameworkcode = ?
+        ORDER BY tagfield, tagsubfield
     /;
-    my @results;
-    my $sth = $dbh->prepare($query);
+    my $sth = C4::Context->dbh->prepare($query);
     $sth->execute($frameworkcode);
-    while (my $row = $sth->fetchrow_hashref){
-        push @results,$row;
-    }
-    return \@results;
+    return $sth->fetchall_arrayref( {} );
 }
 
 =head2 GetMarcFromKohaField
 
-=over 4
+  ($MARCfield,$MARCsubfield)=GetMarcFromKohaField($kohafield,$frameworkcode);
 
-($MARCfield,$MARCsubfield)=GetMarcFromKohaField($kohafield,$frameworkcode);
 Returns the MARC fields & subfields mapped to the koha field 
 for the given frameworkcode
 
-=back
-
 =cut
 
 sub GetMarcFromKohaField {
     my ( $kohafield, $frameworkcode ) = @_;
-    return 0, 0 unless $kohafield;
+    return 0, 0 unless $kohafield and defined $frameworkcode;
     my $relations = C4::Context->marcfromkohafield;
-    return (
-        $relations->{$frameworkcode}->{$kohafield}->[0],
-        $relations->{$frameworkcode}->{$kohafield}->[1]
-    );
+    return ( $relations->{$frameworkcode}->{$kohafield}->[0], $relations->{$frameworkcode}->{$kohafield}->[1] );
 }
 
 =head2 GetMarcBiblio
 
-=over 4
+  my $record = GetMarcBiblio($biblionumber);
 
-Returns MARC::Record of the biblionumber passed in parameter.
-the marc record contains both biblio & item datas
-
-=back
+Returns MARC::Record representing bib identified by
+C<$biblionumber>.  If no bib exists, returns undef.
+The MARC record contains both biblio & item data.
 
 =cut
 
 sub GetMarcBiblio {
     my $biblionumber = shift;
     my $dbh          = C4::Context->dbh;
-    my $sth          =
-      $dbh->prepare("select marcxml from biblioitems where biblionumber=? ");
+    my $sth          = $dbh->prepare("SELECT marcxml FROM biblioitems WHERE biblionumber=? ");
     $sth->execute($biblionumber);
-     my ($marcxml) = $sth->fetchrow;
-     MARC::File::XML->default_record_format(C4::Context->preference('marcflavour'));
-     $marcxml =~ s/\x1e//g;
-     $marcxml =~ s/\x1f//g;
-     $marcxml =~ s/\x1d//g;
-     $marcxml =~ s/\x0f//g;
-     $marcxml =~ s/\x0c//g;  
-#   warn $marcxml;
+    my $row     = $sth->fetchrow_hashref;
+    my $marcxml = StripNonXmlChars( $row->{'marcxml'} );
+    MARC::File::XML->default_record_format( C4::Context->preference('marcflavour') );
     my $record = MARC::Record->new();
-     
-      $record = eval {MARC::Record::new_from_xml( $marcxml, "utf8",C4::Context->preference('marcflavour'))} if ($marcxml);
-     if ($@) {warn $@;}
-#      $record = MARC::Record::new_from_usmarc( $marc) if $marc;
-    return $record;
+
+    if ($marcxml) {
+        $record = eval { MARC::Record::new_from_xml( $marcxml, "utf8", C4::Context->preference('marcflavour') ) };
+        if ($@) { warn " problem with :$biblionumber : $@ \n$marcxml"; }
+
+        #      $record = MARC::Record::new_from_usmarc( $marc) if $marc;
+        return $record;
+    } else {
+        return undef;
+    }
 }
 
 =head2 GetXmlBiblio
 
-=over 4
-
-my $marcxml = GetXmlBiblio($biblionumber);
+  my $marcxml = GetXmlBiblio($biblionumber);
 
 Returns biblioitems.marcxml of the biblionumber passed in parameter.
 The XML contains both biblio & item datas
 
-=back
-
 =cut
 
 sub GetXmlBiblio {
-    my ( $biblionumber ) = @_;
-    my $dbh = C4::Context->dbh;
-    my $sth =
-      $dbh->prepare("select marcxml from biblioitems where biblionumber=? ");
+    my ($biblionumber) = @_;
+    my $dbh            = C4::Context->dbh;
+    my $sth            = $dbh->prepare("SELECT marcxml FROM biblioitems WHERE biblionumber=? ");
     $sth->execute($biblionumber);
     my ($marcxml) = $sth->fetchrow;
     return $marcxml;
 }
 
+=head2 GetCOinSBiblio
+
+  my $coins = GetCOinSBiblio($biblionumber);
+
+Returns the COinS(a span) which can be included in a biblio record
+
+=cut
+
+sub GetCOinSBiblio {
+    my ($biblionumber) = @_;
+    my $record = GetMarcBiblio($biblionumber);
+
+    # get the coin format
+    if ( ! $record ) {
+       # can't get a valid MARC::Record object, bail out at this point
+       warn "We called GetMarcBiblio with a biblionumber that doesn't exist biblionumber=$biblionumber";
+       return;
+    }
+    my $pos7 = substr $record->leader(), 7, 1;
+    my $pos6 = substr $record->leader(), 6, 1;
+    my $mtx;
+    my $genre;
+    my ( $aulast, $aufirst ) = ( '', '' );
+    my $oauthors  = '';
+    my $title     = '';
+    my $subtitle  = '';
+    my $pubyear   = '';
+    my $isbn      = '';
+    my $issn      = '';
+    my $publisher = '';
+
+    if ( C4::Context->preference("marcflavour") eq "UNIMARC" ) {
+        my $fmts6;
+        my $fmts7;
+        %$fmts6 = (
+            'a' => 'book',
+            'b' => 'manuscript',
+            'c' => 'book',
+            'd' => 'manuscript',
+            'e' => 'map',
+            'f' => 'map',
+            'g' => 'film',
+            'i' => 'audioRecording',
+            'j' => 'audioRecording',
+            'k' => 'artwork',
+            'l' => 'document',
+            'm' => 'computerProgram',
+            'r' => 'document',
+
+        );
+        %$fmts7 = (
+            'a' => 'journalArticle',
+            's' => 'journal',
+        );
+
+        $genre = $fmts6->{$pos6} ? $fmts6->{$pos6} : 'book';
+
+        if ( $genre eq 'book' ) {
+            $genre = $fmts7->{$pos7} if $fmts7->{$pos7};
+        }
+
+        ##### We must transform mtx to a valable mtx and document type ####
+        if ( $genre eq 'book' ) {
+            $mtx = 'book';
+        } elsif ( $genre eq 'journal' ) {
+            $mtx = 'journal';
+        } elsif ( $genre eq 'journalArticle' ) {
+            $mtx   = 'journal';
+            $genre = 'article';
+        } else {
+            $mtx = 'dc';
+        }
+
+        $genre = ( $mtx eq 'dc' ) ? "&amp;rft.type=$genre" : "&amp;rft.genre=$genre";
+
+        # Setting datas
+        $aulast  = $record->subfield( '700', 'a' );
+        $aufirst = $record->subfield( '700', 'b' );
+        $oauthors = "&amp;rft.au=$aufirst $aulast";
+
+        # others authors
+        if ( $record->field('200') ) {
+            for my $au ( $record->field('200')->subfield('g') ) {
+                $oauthors .= "&amp;rft.au=$au";
+            }
+        }
+        $title =
+          ( $mtx eq 'dc' )
+          ? "&amp;rft.title=" . $record->subfield( '200', 'a' )
+          : "&amp;rft.title=" . $record->subfield( '200', 'a' ) . "&amp;rft.btitle=" . $record->subfield( '200', 'a' );
+        $pubyear   = $record->subfield( '210', 'd' );
+        $publisher = $record->subfield( '210', 'c' );
+        $isbn      = $record->subfield( '010', 'a' );
+        $issn      = $record->subfield( '011', 'a' );
+    } else {
+
+        # MARC21 need some improve
+        my $fmts;
+        $mtx   = 'book';
+        $genre = "&amp;rft.genre=book";
+
+        # Setting datas
+        if ( $record->field('100') ) {
+            $oauthors .= "&amp;rft.au=" . $record->subfield( '100', 'a' );
+        }
+
+        # others authors
+        if ( $record->field('700') ) {
+            for my $au ( $record->field('700')->subfield('a') ) {
+                $oauthors .= "&amp;rft.au=$au";
+            }
+        }
+        $title = "&amp;rft.btitle=" . $record->subfield( '245', 'a' );
+        $subtitle = $record->subfield( '245', 'b' ) || '';
+        $title .= $subtitle;
+        $pubyear   = $record->subfield( '260', 'c' ) || '';
+        $publisher = $record->subfield( '260', 'b' ) || '';
+        $isbn      = $record->subfield( '020', 'a' ) || '';
+        $issn      = $record->subfield( '022', 'a' ) || '';
+
+    }
+    my $coins_value =
+"ctx_ver=Z39.88-2004&amp;rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3A$mtx$genre$title&amp;rft.isbn=$isbn&amp;rft.issn=$issn&amp;rft.aulast=$aulast&amp;rft.aufirst=$aufirst$oauthors&amp;rft.pub=$publisher&amp;rft.date=$pubyear";
+    $coins_value =~ s/(\ |&[^a])/\+/g;
+    $coins_value =~ s/\"/\&quot\;/g;
+
+#<!-- TMPL_VAR NAME="ocoins_format" -->&amp;rft.au=<!-- TMPL_VAR NAME="author" -->&amp;rft.btitle=<!-- TMPL_VAR NAME="title" -->&amp;rft.date=<!-- TMPL_VAR NAME="publicationyear" -->&amp;rft.pages=<!-- TMPL_VAR NAME="pages" -->&amp;rft.isbn=<!-- TMPL_VAR NAME=amazonisbn -->&amp;rft.aucorp=&amp;rft.place=<!-- TMPL_VAR NAME="place" -->&amp;rft.pub=<!-- TMPL_VAR NAME="publishercode" -->&amp;rft.edition=<!-- TMPL_VAR NAME="edition" -->&amp;rft.series=<!-- TMPL_VAR NAME="series" -->&amp;rft.genre="
+
+    return $coins_value;
+}
+
 =head2 GetAuthorisedValueDesc
 
-=over 4
+  my $subfieldvalue =get_authorised_value_desc(
+    $tag, $subf[$i][0],$subf[$i][1], '', $taglib, $category, $opac);
 
-my $subfieldvalue =get_authorised_value_desc(
-    $tag, $subf[$i][0],$subf[$i][1], '', $taglib);
 Retrieve the complete description for a given authorised value.
 
-=back
+Now takes $category and $value pair too.
+
+  my $auth_value_desc =GetAuthorisedValueDesc(
+    '','', 'DVD' ,'','','CCODE');
+
+If the optional $opac parameter is set to a true value, displays OPAC 
+descriptions rather than normal ones when they exist.
 
 =cut
 
 sub GetAuthorisedValueDesc {
-    my ( $tag, $subfield, $value, $framework, $tagslib ) = @_;
+    my ( $tag, $subfield, $value, $framework, $tagslib, $category, $opac ) = @_;
     my $dbh = C4::Context->dbh;
-    
-    #---- branch
-    if ( $tagslib->{$tag}->{$subfield}->{'authorised_value'} eq "branches" ) {
-        return C4::Branch::GetBranchName($value);
-    }
 
-    #---- itemtypes
-    if ( $tagslib->{$tag}->{$subfield}->{'authorised_value'} eq "itemtypes" ) {
-        return getitemtypeinfo($value)->{description};
+    if ( !$category ) {
+
+        return $value unless defined $tagslib->{$tag}->{$subfield}->{'authorised_value'};
+
+        #---- branch
+        if ( $tagslib->{$tag}->{$subfield}->{'authorised_value'} eq "branches" ) {
+            return C4::Branch::GetBranchName($value);
+        }
+
+        #---- itemtypes
+        if ( $tagslib->{$tag}->{$subfield}->{'authorised_value'} eq "itemtypes" ) {
+            return getitemtypeinfo($value)->{description};
+        }
+
+        #---- "true" authorized value
+        $category = $tagslib->{$tag}->{$subfield}->{'authorised_value'};
     }
 
-    #---- "true" authorized value
-    my $category = $tagslib->{$tag}->{$subfield}->{'authorised_value'};
     if ( $category ne "" ) {
-        my $sth =
-          $dbh->prepare(
-            "select lib from authorised_values where category = ? and authorised_value = ?"
-          );
+        my $sth = $dbh->prepare( "SELECT lib, lib_opac FROM authorised_values WHERE category = ? AND authorised_value = ?" );
         $sth->execute( $category, $value );
         my $data = $sth->fetchrow_hashref;
-        return $data->{'lib'};
-    }
-    else {
+        return ( $opac && $data->{'lib_opac'} ) ? $data->{'lib_opac'} : $data->{'lib'};
+    } else {
         return $value;    # if nothing is found return the original value
     }
 }
 
-=head2 GetMarcItem
+=head2 GetMarcControlnumber
 
-=over 4
-
-Returns MARC::Record of the item passed in parameter.
+  $marccontrolnumber = GetMarcControlnumber($record,$marcflavour);
 
-=back
+Get the control number / record Identifier from the MARC record and return it.
 
 =cut
 
-sub GetMarcItem {
-    my ( $biblionumber, $itemnumber ) = @_;
-    my $dbh = C4::Context->dbh;
-    my $newrecord = MARC::Record->new();
-    my $marcflavour = C4::Context->preference('marcflavour');
-    
-    my $marcxml = GetXmlBiblio($biblionumber);
-    my $record = MARC::Record->new();
-    $record = MARC::Record::new_from_xml( $marcxml, "utf8", $marcflavour );
-    # now, find where the itemnumber is stored & extract only the item
-    my ( $itemnumberfield, $itemnumbersubfield ) =
-      GetMarcFromKohaField( 'items.itemnumber', '' );
-    my @fields = $record->field($itemnumberfield);
-    foreach my $field (@fields) {
-        if ( $field->subfield($itemnumbersubfield) eq $itemnumber ) {
-            $newrecord->insert_fields_ordered($field);
+sub GetMarcControlnumber {
+    my ( $record, $marcflavour ) = @_;
+    my $controlnumber = "";
+    # Control number or Record identifier are the same field in MARC21 and UNIMARC
+    # Keep $marcflavour for possible later use
+    if ($marcflavour eq "MARC21" || $marcflavour eq "UNIMARC") {
+        my $controlnumberField = $record->field('001');
+        if ($controlnumberField) {
+            $controlnumber = $controlnumberField->data();
         }
     }
-    return $newrecord;
+    return $controlnumber;
 }
 
+=head2 GetMarcISBN
+
+  $marcisbnsarray = GetMarcISBN( $record, $marcflavour );
+
+Get all ISBNs from the MARC record and returns them in an array.
+ISBNs stored in differents places depending on MARC flavour
+
+=cut
+
+sub GetMarcISBN {
+    my ( $record, $marcflavour ) = @_;
+    my $scope;
+    if ( $marcflavour eq "MARC21" ) {
+        $scope = '020';
+    } else {    # assume unimarc if not marc21
+        $scope = '010';
+    }
+    my @marcisbns;
+    my $isbn = "";
+    my $tag  = "";
+    my $marcisbn;
+    foreach my $field ( $record->field($scope) ) {
+        my $value = $field->as_string();
+        if ( $isbn ne "" ) {
+            $marcisbn = { marcisbn => $isbn, };
+            push @marcisbns, $marcisbn;
+            $isbn = $value;
+        }
+        if ( $isbn ne $value ) {
+            $isbn = $isbn . " " . $value;
+        }
+    }
 
+    if ($isbn) {
+        $marcisbn = { marcisbn => $isbn };
+        push @marcisbns, $marcisbn;    #load last tag into array
+    }
+    return \@marcisbns;
+}    # end GetMarcISBN
 
 =head2 GetMarcNotes
 
-=over 4
+  $marcnotesarray = GetMarcNotes( $record, $marcflavour );
 
-$marcnotesarray = GetMarcNotes( $record, $marcflavour );
 Get all notes from the MARC record and returns them in an array.
 The note are stored in differents places depending on MARC flavour
 
-=back
-
 =cut
 
 sub GetMarcNotes {
@@ -1776,8 +1339,7 @@ sub GetMarcNotes {
     my $scope;
     if ( $marcflavour eq "MARC21" ) {
         $scope = '5..';
-    }
-    else {    # assume unimarc if not marc21
+    } else {    # assume unimarc if not marc21
         $scope = '3..';
     }
     my @marcnotes;
@@ -1796,7 +1358,7 @@ sub GetMarcNotes {
         }
     }
 
-    if ( $note ) {
+    if ($note) {
         $marcnote = { marcnote => $note };
         push @marcnotes, $marcnote;    #load last tag into array
     }
@@ -1805,14 +1367,11 @@ sub GetMarcNotes {
 
 =head2 GetMarcSubjects
 
-=over 4
+  $marcsubjcts = GetMarcSubjects($record,$marcflavour);
 
-$marcsubjcts = GetMarcSubjects($record,$marcflavour);
 Get all subjects from the MARC record and returns them in an array.
 The subjects are stored in differents places depending on MARC flavour
 
-=back
-
 =cut
 
 sub GetMarcSubjects {
@@ -1821,303 +1380,318 @@ sub GetMarcSubjects {
     if ( $marcflavour eq "MARC21" ) {
         $mintag = "600";
         $maxtag = "699";
-    }
-    else {    # assume unimarc if not marc21
+    } else {    # assume unimarc if not marc21
         $mintag = "600";
         $maxtag = "611";
     }
 
-    my @marcsubjcts;
+    my @marcsubjects;
+    my $subject  = "";
+    my $subfield = "";
+    my $marcsubject;
 
-    foreach my $field ( $record->fields ) {
+    foreach my $field ( $record->field('6..') ) {
         next unless $field->tag() >= $mintag && $field->tag() <= $maxtag;
+        my @subfields_loop;
         my @subfields = $field->subfields();
-        my $link = "su:";
-        my $label;
-        my $flag = 0;
-        my $authoritysep=C4::Context->preference("authoritysep");
-        for my $subject_subfield ( @subfields ) {
-            if (
-                $marcflavour ne 'MARC21'
-                and (
-                    ($subject_subfield->[0] eq '3') or
-                    ($subject_subfield->[0] eq '4') or
-                    ($subject_subfield->[0] eq '5')
-                )
-            )
-            {
-                next;
-            }
-            my $code = $subject_subfield->[0];
-            $label .= $subject_subfield->[1].$authoritysep unless ( $code == 9 );
-            $link  .= " and su-to:".$subject_subfield->[1]  unless ( $code == 9 );
-            if ( $code == 9 ) {
-                $link = "an:".$subject_subfield->[1];
-                $flag = 1;
+        my $counter   = 0;
+        my @link_loop;
+
+        # if there is an authority link, build the link with an= subfield9
+        my $found9 = 0;
+        for my $subject_subfield (@subfields) {
+
+            # don't load unimarc subfields 3,4,5
+            next if ( ( $marcflavour eq "UNIMARC" ) and ( $subject_subfield->[0] =~ /2|3|4|5/ ) );
+
+            # don't load MARC21 subfields 2 (FIXME: any more subfields??)
+            next if ( ( $marcflavour eq "MARC21" ) and ( $subject_subfield->[0] =~ /2/ ) );
+            my $code      = $subject_subfield->[0];
+            my $value     = $subject_subfield->[1];
+            my $linkvalue = $value;
+            $linkvalue =~ s/(\(|\))//g;
+            my $operator = " and " unless $counter == 0;
+            if ( $code eq 9 ) {
+                $found9 = 1;
+                @link_loop = ( { 'limit' => 'an', link => "$linkvalue" } );
             }
-            elsif ( ! $flag ) {
-                $link =~ s/ and\ssu-to:$//;
+            if ( not $found9 ) {
+                push @link_loop, { 'limit' => 'su', link => $linkvalue, operator => $operator };
             }
+            my $separator = C4::Context->preference("authoritysep") unless $counter == 0;
+
+            # ignore $9
+            my @this_link_loop = @link_loop;
+            push @subfields_loop, { code => $code, value => $value, link_loop => \@this_link_loop, separator => $separator } unless ( $subject_subfield->[0] eq 9 );
+            $counter++;
         }
-         $label =~ s/$authoritysep$//;
-        push @marcsubjcts,
-          {
-            label => $label,
-            link  => $link
-          }
+
+        push @marcsubjects, { MARCSUBJECT_SUBFIELDS_LOOP => \@subfields_loop };
+
     }
-    return \@marcsubjcts;
-}    #end GetMarcSubjects
+    return \@marcsubjects;
+}    #end getMARCsubjects
 
 =head2 GetMarcAuthors
 
-=over 4
+  authors = GetMarcAuthors($record,$marcflavour);
 
-authors = GetMarcAuthors($record,$marcflavour);
 Get all authors from the MARC record and returns them in an array.
 The authors are stored in differents places depending on MARC flavour
 
-=back
-
 =cut
 
 sub GetMarcAuthors {
     my ( $record, $marcflavour ) = @_;
     my ( $mintag, $maxtag );
+
     # tagslib useful for UNIMARC author reponsabilities
-    my $tagslib = &GetMarcStructure( 1, '' ); # FIXME : we don't have the framework available, we take the default framework. May be bugguy on some setups, will be usually correct.
+    my $tagslib =
+      &GetMarcStructure( 1, '' );    # FIXME : we don't have the framework available, we take the default framework. May be buggy on some setups, will be usually correct.
     if ( $marcflavour eq "MARC21" ) {
-        $mintag = "100";
-        $maxtag = "111"; 
-    }
-    else {    # assume unimarc if not marc21
-        $mintag = "701";
+        $mintag = "700";
+        $maxtag = "720";
+    } elsif ( $marcflavour eq "UNIMARC" ) {    # assume unimarc if not marc21
+        $mintag = "700";
         $maxtag = "712";
+    } else {
+        return;
     }
-
     my @marcauthors;
 
     foreach my $field ( $record->fields ) {
         next unless $field->tag() >= $mintag && $field->tag() <= $maxtag;
-        my %hash;
-        my @subfields = $field->subfields();
+        my @subfields_loop;
+        my @link_loop;
+        my @subfields  = $field->subfields();
         my $count_auth = 0;
-        my $and ;
+
+        # if there is an authority link, build the link with Koha-Auth-Number: subfield9
+        my $subfield9 = $field->subfield('9');
         for my $authors_subfield (@subfields) {
-            if (
-                $marcflavour ne 'MARC21'
-                and (
-                    ($authors_subfield->[0] eq '3') or
-                    ($authors_subfield->[0] eq '5')
-                )
-            )
-            {
-                next;
-            }
-            if ($count_auth ne '0'){
-                $and = " and au:";
-            }
-            $count_auth++;
+
+            # don't load unimarc subfields 3, 5
+            next if ( $marcflavour eq 'UNIMARC' and ( $authors_subfield->[0] =~ /3|5/ ) );
             my $subfieldcode = $authors_subfield->[0];
-            my $value;
-            # deal with UNIMARC author responsibility
-            if (
-                $marcflavour ne 'MARC21'
-                and ($authors_subfield->[0] eq '4')
-            )
-            {
-                $value = "(".GetAuthorisedValueDesc( $field->tag(), $authors_subfield->[0], $authors_subfield->[1], '', $tagslib ).")";
+            my $value        = $authors_subfield->[1];
+            my $linkvalue    = $value;
+            $linkvalue =~ s/(\(|\))//g;
+            my $operator = " and " unless $count_auth == 0;
+
+            # if we have an authority link, use that as the link, otherwise use standard searching
+            if ($subfield9) {
+                @link_loop = ( { 'limit' => 'an', link => "$subfield9" } );
             } else {
-                $value        = $authors_subfield->[1];
+
+                # reset $linkvalue if UNIMARC author responsibility
+                if ( $marcflavour eq 'UNIMARC' and ( $authors_subfield->[0] eq "4" ) ) {
+                    $linkvalue = "(" . GetAuthorisedValueDesc( $field->tag(), $authors_subfield->[0], $authors_subfield->[1], '', $tagslib ) . ")";
+                }
+                push @link_loop, { 'limit' => 'au', link => $linkvalue, operator => $operator };
             }
-            $hash{tag}       = $field->tag;
-            $hash{value}    .= $value . " " if ($subfieldcode != 9) ;
-            $hash{link}     .= $value if ($subfieldcode eq 9);
+            $value = GetAuthorisedValueDesc( $field->tag(), $authors_subfield->[0], $authors_subfield->[1], '', $tagslib )
+              if ( $marcflavour eq 'UNIMARC' and ( $authors_subfield->[0] =~ /4/ ) );
+            my @this_link_loop = @link_loop;
+            my $separator = C4::Context->preference("authoritysep") unless $count_auth == 0;
+            push @subfields_loop, { code => $subfieldcode, value => $value, link_loop => \@this_link_loop, separator => $separator } unless ( $authors_subfield->[0] eq '9' );
+            $count_auth++;
         }
-        push @marcauthors, \%hash;
+        push @marcauthors, { MARCAUTHOR_SUBFIELDS_LOOP => \@subfields_loop };
     }
     return \@marcauthors;
 }
 
+=head2 GetMarcUrls
+
+  $marcurls = GetMarcUrls($record,$marcflavour);
+
+Returns arrayref of URLs from MARC data, suitable to pass to tmpl loop.
+Assumes web resources (not uncommon in MARC21 to omit resource type ind) 
+
+=cut
+
+sub GetMarcUrls {
+    my ( $record, $marcflavour ) = @_;
+
+    my @marcurls;
+    for my $field ( $record->field('856') ) {
+        my @notes;
+        for my $note ( $field->subfield('z') ) {
+            push @notes, { note => $note };
+        }
+        my @urls = $field->subfield('u');
+        foreach my $url (@urls) {
+            my $marcurl;
+            if ( $marcflavour eq 'MARC21' ) {
+                my $s3   = $field->subfield('3');
+                my $link = $field->subfield('y');
+                unless ( $url =~ /^\w+:/ ) {
+                    if ( $field->indicator(1) eq '7' ) {
+                        $url = $field->subfield('2') . "://" . $url;
+                    } elsif ( $field->indicator(1) eq '1' ) {
+                        $url = 'ftp://' . $url;
+                    } else {
+
+                        #  properly, this should be if ind1=4,
+                        #  however we will assume http protocol since we're building a link.
+                        $url = 'http://' . $url;
+                    }
+                }
+
+                # TODO handle ind 2 (relationship)
+                $marcurl = {
+                    MARCURL => $url,
+                    notes   => \@notes,
+                };
+                $marcurl->{'linktext'} = $link || $s3 || C4::Context->preference('URLLinkText') || $url;
+                $marcurl->{'part'} = $s3 if ($link);
+                $marcurl->{'toc'} = 1 if ( defined($s3) && $s3 =~ /^[Tt]able/ );
+            } else {
+                $marcurl->{'linktext'} = $field->subfield('2') || C4::Context->preference('URLLinkText') || $url;
+                $marcurl->{'MARCURL'} = $url;
+            }
+            push @marcurls, $marcurl;
+        }
+    }
+    return \@marcurls;
+}
+
 =head2 GetMarcSeries
 
-=over 4
+  $marcseriesarray = GetMarcSeries($record,$marcflavour);
 
-$marcseriessarray = GetMarcSeries($record,$marcflavour);
 Get all series from the MARC record and returns them in an array.
 The series are stored in differents places depending on MARC flavour
 
-=back
-
 =cut
 
 sub GetMarcSeries {
-    my ($record, $marcflavour) = @_;
-    my ($mintag, $maxtag);
-    if ($marcflavour eq "MARC21") {
+    my ( $record, $marcflavour ) = @_;
+    my ( $mintag, $maxtag );
+    if ( $marcflavour eq "MARC21" ) {
         $mintag = "440";
         $maxtag = "490";
-    } else {           # assume unimarc if not marc21
+    } else {    # assume unimarc if not marc21
         $mintag = "600";
         $maxtag = "619";
     }
 
     my @marcseries;
-    my $subjct = "";
+    my $subjct   = "";
     my $subfield = "";
     my $marcsubjct;
 
-    foreach my $field ($record->field('440'), $record->field('490')) {
+    foreach my $field ( $record->field('440'), $record->field('490') ) {
         my @subfields_loop;
+
         #my $value = $field->subfield('a');
         #$marcsubjct = {MARCSUBJCT => $value,};
         my @subfields = $field->subfields();
+
         #warn "subfields:".join " ", @$subfields;
         my $counter = 0;
         my @link_loop;
         for my $series_subfield (@subfields) {
-                       my $volume_number;
-                       undef $volume_number;
-                       # see if this is an instance of a volume
-                       if ($series_subfield->[0] eq 'v') {
-                               $volume_number=1;
-                       }
-
-            my $code = $series_subfield->[0];
-            my $value = $series_subfield->[1];
+            my $volume_number;
+            undef $volume_number;
+
+            # see if this is an instance of a volume
+            if ( $series_subfield->[0] eq 'v' ) {
+                $volume_number = 1;
+            }
+
+            my $code      = $series_subfield->[0];
+            my $value     = $series_subfield->[1];
             my $linkvalue = $value;
             $linkvalue =~ s/(\(|\))//g;
-            my $operator = " and " unless $counter==0;
-            push @link_loop, {link => $linkvalue, operator => $operator };
-            my $separator = C4::Context->preference("authoritysep") unless $counter==0;
-                       if ($volume_number) {
-                       push @subfields_loop, {volumenum => $value};
-                       }
-                       else {
-            push @subfields_loop, {code => $code, value => $value, link_loop => \@link_loop, separator => $separator, volumenum => $volume_number};
-                       }
+            my $operator = " and " unless $counter == 0;
+            push @link_loop, { link => $linkvalue, operator => $operator };
+            my $separator = C4::Context->preference("authoritysep") unless $counter == 0;
+            if ($volume_number) {
+                push @subfields_loop, { volumenum => $value };
+            } else {
+                push @subfields_loop, { code => $code, value => $value, link_loop => \@link_loop, separator => $separator, volumenum => $volume_number };
+            }
             $counter++;
         }
         push @marcseries, { MARCSERIES_SUBFIELDS_LOOP => \@subfields_loop };
+
         #$marcsubjct = {MARCSUBJCT => $field->as_string(),};
         #push @marcsubjcts, $marcsubjct;
         #$subjct = $value;
 
     }
-    my $marcseriessarray=\@marcseries;
+    my $marcseriessarray = \@marcseries;
     return $marcseriessarray;
-}  #end getMARCseriess
+}    #end getMARCseriess
 
 =head2 GetFrameworkCode
 
-=over 4
-
-    $frameworkcode = GetFrameworkCode( $biblionumber )
-
-=back
+  $frameworkcode = GetFrameworkCode( $biblionumber )
 
 =cut
 
 sub GetFrameworkCode {
-    my ( $biblionumber ) = @_;
-    my $dbh = C4::Context->dbh;
-    my $sth = $dbh->prepare("select frameworkcode from biblio where biblionumber=?");
+    my ($biblionumber) = @_;
+    my $dbh            = C4::Context->dbh;
+    my $sth            = $dbh->prepare("SELECT frameworkcode FROM biblio WHERE biblionumber=?");
     $sth->execute($biblionumber);
     my ($frameworkcode) = $sth->fetchrow;
     return $frameworkcode;
 }
 
-=head2 GetPublisherNameFromIsbn
-
-    $name = GetPublishercodeFromIsbn($isbn);
-    if(defined $name){
-        ...
-    }
-
-=cut
-
-sub GetPublisherNameFromIsbn($){
-    my $isbn = shift;
-    $isbn =~ s/[- _]//g;
-    $isbn =~ s/^0*//;
-    my @codes = (split '-', DisplayISBN($isbn));
-    my $code = $codes[0].$codes[1].$codes[2];
-    my $dbh  = C4::Context->dbh;
-    my $query = qq{
-        SELECT distinct publishercode
-        FROM   biblioitems
-        WHERE  isbn LIKE ?
-        AND    publishercode IS NOT NULL
-        LIMIT 1
-    };
-    my $sth = $dbh->prepare($query);
-    $sth->execute("$code%");
-    my $name = $sth->fetchrow;
-    return $name if length $name;
-    return undef;
-}
-
 =head2 TransformKohaToMarc
 
-=over 4
-
     $record = TransformKohaToMarc( $hash )
-    This function builds partial MARC::Record from a hash
-    Hash entries can be from biblio or biblioitems.
-    This function is called in acquisition module, to create a basic catalogue entry from user entry
 
-=back
+This function builds partial MARC::Record from a hash
+Hash entries can be from biblio or biblioitems.
+
+This function is called in acquisition module, to create a basic catalogue entry from user entry
 
 =cut
 
 sub TransformKohaToMarc {
-
-    my ( $hash ) = @_;
-    my $dbh = C4::Context->dbh;
-    my $sth =
-    $dbh->prepare(
-        "select tagfield,tagsubfield from marc_subfield_structure where frameworkcode=? and kohafield=?"
-    );
+    my ($hash) = @_;
+    my $sth    = C4::Context->dbh->prepare( "SELECT tagfield,tagsubfield FROM marc_subfield_structure WHERE frameworkcode=? AND kohafield=?" );
     my $record = MARC::Record->new();
-    foreach (keys %{$hash}) {
-        &TransformKohaToMarcOneField( $sth, $record, $_,
-            $hash->{$_}, '' );
-        }
+    SetMarcUnicodeFlag( $record, C4::Context->preference("marcflavour") );
+    foreach ( keys %{$hash} ) {
+        &TransformKohaToMarcOneField( $sth, $record, $_, $hash->{$_}, '' );
+    }
     return $record;
 }
 
 =head2 TransformKohaToMarcOneField
 
-=over 4
-
     $record = TransformKohaToMarcOneField( $sth, $record, $kohafieldname, $value, $frameworkcode );
 
-=back
-
 =cut
 
 sub TransformKohaToMarcOneField {
     my ( $sth, $record, $kohafieldname, $value, $frameworkcode ) = @_;
-    $frameworkcode='' unless $frameworkcode;
+    $frameworkcode = '' unless $frameworkcode;
     my $tagfield;
     my $tagsubfield;
 
     if ( !defined $sth ) {
         my $dbh = C4::Context->dbh;
-        $sth = $dbh->prepare(
-            "select tagfield,tagsubfield from marc_subfield_structure where frameworkcode=? and kohafield=?"
-        );
+        $sth = $dbh->prepare( "SELECT tagfield,tagsubfield FROM marc_subfield_structure WHERE frameworkcode=? AND kohafield=?" );
     }
     $sth->execute( $frameworkcode, $kohafieldname );
     if ( ( $tagfield, $tagsubfield ) = $sth->fetchrow ) {
+        my @values = split(/\s?\|\s?/, $value, -1);
+        
+        foreach my $itemvalue (@values){
         my $tag = $record->field($tagfield);
         if ($tag) {
-            $tag->update( $tagsubfield => $value );
+                $tag->add_subfields( $tagsubfield => $itemvalue );
             $record->delete_field($tag);
             $record->insert_fields_ordered($tag);
-        }
-        else {
-            $record->add_fields( $tagfield, " ", " ", $tagsubfield => $value );
+            }
+            else {
+                $record->add_fields( $tagfield, " ", " ", $tagsubfield => $itemvalue );
+            }
         }
     }
     return $record;
@@ -2125,14 +1699,18 @@ sub TransformKohaToMarcOneField {
 
 =head2 TransformHtmlToXml
 
-=over 4
-
-$xml = TransformHtmlToXml( $tags, $subfields, $values, $indicator, $ind_tag, $auth_type )
+  $xml = TransformHtmlToXml( $tags, $subfields, $values, $indicator, 
+                             $ind_tag, $auth_type )
 
 $auth_type contains :
-- nothing : rebuild a biblio, un UNIMARC the encoding is in 100$a pos 26/27
-- UNIMARCAUTH : rebuild an authority. In UNIMARC, the encoding is in 100$a pos 13/14
-- ITEM : rebuild an item : in UNIMARC, 100$a, it's in the biblio ! (otherwise, we would get 2 100 fields !)
+
+=over
+
+=item - nothing : rebuild a biblio. In UNIMARC the encoding is in 100$a pos 26/27
+
+=item - UNIMARCAUTH : rebuild an authority. In UNIMARC, the encoding is in 100$a pos 13/14
+
+=item - ITEM : rebuild an item : in UNIMARC, 100$a, it's in the biblio ! (otherwise, we would get 2 100 fields !)
 
 =back
 
@@ -2141,24 +1719,28 @@ $auth_type contains :
 sub TransformHtmlToXml {
     my ( $tags, $subfields, $values, $indicator, $ind_tag, $auth_type ) = @_;
     my $xml = MARC::File::XML::header('UTF-8');
+    $xml .= "<record>\n";
     $auth_type = C4::Context->preference('marcflavour') unless $auth_type;
     MARC::File::XML->default_record_format($auth_type);
+
     # in UNIMARC, field 100 contains the encoding
-    # check that there is one, otherwise the 
+    # check that there is one, otherwise the
     # MARC::Record->new_from_xml will fail (and Koha will die)
-    my $unimarc_and_100_exist=0;
-    $unimarc_and_100_exist=1 if $auth_type eq 'ITEM'; # if we rebuild an item, no need of a 100 field
+    my $unimarc_and_100_exist = 0;
+    $unimarc_and_100_exist = 1 if $auth_type eq 'ITEM';    # if we rebuild an item, no need of a 100 field
     my $prevvalue;
     my $prevtag = -1;
     my $first   = 1;
     my $j       = -1;
-    for ( my $i = 0 ; $i <= @$tags ; $i++ ) {
-        if (C4::Context->preference('marcflavour') eq 'UNIMARC' and @$tags[$i] eq "100" and @$subfields[$i] eq "a") {
+    for ( my $i = 0 ; $i < @$tags ; $i++ ) {
+
+        if ( C4::Context->preference('marcflavour') eq 'UNIMARC' and @$tags[$i] eq "100" and @$subfields[$i] eq "a" ) {
+
             # if we have a 100 field and it's values are not correct, skip them.
             # if we don't have any valid 100 field, we will create a default one at the end
             my $enc = substr( @$values[$i], 26, 2 );
-            if ($enc eq '01' or $enc eq '50' or $enc eq '03') {
-                $unimarc_and_100_exist=1;
+            if ( $enc eq '01' or $enc eq '50' or $enc eq '03' ) {
+                $unimarc_and_100_exist = 1;
             } else {
                 next;
             }
@@ -2168,36 +1750,33 @@ sub TransformHtmlToXml {
         @$values[$i] =~ s/>/&gt;/g;
         @$values[$i] =~ s/"/&quot;/g;
         @$values[$i] =~ s/'/&apos;/g;
-#         if ( !utf8::is_utf8( @$values[$i] ) ) {
-#             utf8::decode( @$values[$i] );
-#         }
+
+        #         if ( !utf8::is_utf8( @$values[$i] ) ) {
+        #             utf8::decode( @$values[$i] );
+        #         }
         if ( ( @$tags[$i] ne $prevtag ) ) {
             $j++ unless ( @$tags[$i] eq "" );
+            my $indicator1 = eval { substr( @$indicator[$j], 0, 1 ) };
+            my $indicator2 = eval { substr( @$indicator[$j], 1, 1 ) };
+            my $ind1       = _default_ind_to_space($indicator1);
+            my $ind2;
+            if ( @$indicator[$j] ) {
+                $ind2 = _default_ind_to_space($indicator2);
+            } else {
+                warn "Indicator in @$tags[$i] is empty";
+                $ind2 = " ";
+            }
             if ( !$first ) {
                 $xml .= "</datafield>\n";
                 if (   ( @$tags[$i] && @$tags[$i] > 10 )
-                    && ( @$values[$i] ne "" ) )
-                {
-                    my $ind1 = substr( @$indicator[$j], 0, 1 );
-                    my $ind2;
-                    if ( @$indicator[$j] ) {
-                        $ind2 = substr( @$indicator[$j], 1, 1 );
-                    }
-                    else {
-                        warn "Indicator in @$tags[$i] is empty";
-                        $ind2 = " ";
-                    }
-                    $xml .=
-"<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
-                    $xml .=
-"<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
+                    && ( @$values[$i] ne "" ) ) {
+                    $xml .= "<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
+                    $xml .= "<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
                     $first = 0;
-                }
-                else {
+                } else {
                     $first = 1;
                 }
-            }
-            else {
+            } else {
                 if ( @$values[$i] ne "" ) {
 
                     # leader
@@ -2206,67 +1785,84 @@ sub TransformHtmlToXml {
                         $first = 1;
 
                         # rest of the fixed fields
-                    }
-                    elsif ( @$tags[$i] < 10 ) {
-                        $xml .=
-"<controlfield tag=\"@$tags[$i]\">@$values[$i]</controlfield>\n";
+                    } elsif ( @$tags[$i] < 10 ) {
+                        $xml .= "<controlfield tag=\"@$tags[$i]\">@$values[$i]</controlfield>\n";
                         $first = 1;
-                    }
-                    else {
-                        my $ind1 = substr( @$indicator[$j], 0, 1 );
-                        my $ind2 = substr( @$indicator[$j], 1, 1 );
-                        $xml .=
-"<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
-                        $xml .=
-"<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
+                    } else {
+                        $xml .= "<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
+                        $xml .= "<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
                         $first = 0;
                     }
                 }
             }
-        }
-        else {    # @$tags[$i] eq $prevtag
-            if ( @$values[$i] eq "" ) {
+        } else {    # @$tags[$i] eq $prevtag
+            my $indicator1 = eval { substr( @$indicator[$j], 0, 1 ) };
+            my $indicator2 = eval { substr( @$indicator[$j], 1, 1 ) };
+            my $ind1       = _default_ind_to_space($indicator1);
+            my $ind2;
+            if ( @$indicator[$j] ) {
+                $ind2 = _default_ind_to_space($indicator2);
+            } else {
+                warn "Indicator in @$tags[$i] is empty";
+                $ind2 = " ";
             }
-            else {
+            if ( @$values[$i] eq "" ) {
+            } else {
                 if ($first) {
-                    my $ind1 = substr( @$indicator[$j], 0, 1 );
-                    my $ind2 = substr( @$indicator[$j], 1, 1 );
-                    $xml .=
-"<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
+                    $xml .= "<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
                     $first = 0;
                 }
-                $xml .=
-"<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
+                $xml .= "<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
             }
         }
         $prevtag = @$tags[$i];
     }
-    if (C4::Context->preference('marcflavour') and !$unimarc_and_100_exist) {
-#     warn "SETTING 100 for $auth_type";
-        use POSIX qw(strftime);
+    $xml .= "</datafield>\n" if @$tags > 0;
+    if ( C4::Context->preference('marcflavour') eq 'UNIMARC' and !$unimarc_and_100_exist ) {
+
+        #     warn "SETTING 100 for $auth_type";
         my $string = strftime( "%Y%m%d", localtime(time) );
+
         # set 50 to position 26 is biblios, 13 if authorities
-        my $pos=26;
-        $pos=13 if $auth_type eq 'UNIMARCAUTH';
+        my $pos = 26;
+        $pos = 13 if $auth_type eq 'UNIMARCAUTH';
         $string = sprintf( "%-*s", 35, $string );
-        substr( $string, $pos , 6, "50" );
+        substr( $string, $pos, 6, "50" );
         $xml .= "<datafield tag=\"100\" ind1=\"\" ind2=\"\">\n";
         $xml .= "<subfield code=\"a\">$string</subfield>\n";
         $xml .= "</datafield>\n";
     }
+    $xml .= "</record>\n";
     $xml .= MARC::File::XML::footer();
     return $xml;
 }
 
+=head2 _default_ind_to_space
+
+Passed what should be an indicator returns a space
+if its undefined or zero length
+
+=cut
+
+sub _default_ind_to_space {
+    my $s = shift;
+    if ( !defined $s || $s eq q{} ) {
+        return ' ';
+    }
+    return $s;
+}
+
 =head2 TransformHtmlToMarc
 
     L<$record> = TransformHtmlToMarc(L<$params>,L<$cgi>)
     L<$params> is a ref to an array as below:
     {
-        'tag_010_indicator_531951' ,
+        'tag_010_indicator1_531951' ,
+        'tag_010_indicator2_531951' ,
         'tag_010_code_a_531951_145735' ,
         'tag_010_subfield_a_531951_145735' ,
-        'tag_200_indicator_873510' ,
+        'tag_200_indicator1_873510' ,
+        'tag_200_indicator2_873510' ,
         'tag_200_code_a_873510_673465' ,
         'tag_200_subfield_a_873510_673465' ,
         'tag_200_code_b_873510_704318' ,
@@ -2284,160 +1880,288 @@ sub TransformHtmlToXml {
 sub TransformHtmlToMarc {
     my $params = shift;
     my $cgi    = shift;
-    
+
+    # explicitly turn on the UTF-8 flag for all
+    # 'tag_' parameters to avoid incorrect character
+    # conversion later on
+    my $cgi_params = $cgi->Vars;
+    foreach my $param_name ( keys %$cgi_params ) {
+        if ( $param_name =~ /^tag_/ ) {
+            my $param_value = $cgi_params->{$param_name};
+            if ( utf8::decode($param_value) ) {
+                $cgi_params->{$param_name} = $param_value;
+            }
+
+            # FIXME - need to do something if string is not valid UTF-8
+        }
+    }
+
     # creating a new record
-    my $record  = MARC::Record->new();
-    my $i=0;
+    my $record = MARC::Record->new();
+    my $i      = 0;
     my @fields;
-    while ($params->[$i]){ # browse all CGI params
-        my $param = $params->[$i];
-        my $newfield=0;
+    while ( $params->[$i] ) {    # browse all CGI params
+        my $param    = $params->[$i];
+        my $newfield = 0;
+
         # if we are on biblionumber, store it in the MARC::Record (it may not be in the edited fields)
-        if ($param eq 'biblionumber') {
-            my ( $biblionumbertagfield, $biblionumbertagsubfield ) =
-                &GetMarcFromKohaField( "biblio.biblionumber", '' );
-            if ($biblionumbertagfield < 10) {
-                $newfield = MARC::Field->new(
-                    $biblionumbertagfield,
-                    $cgi->param($param),
-                );
+        if ( $param eq 'biblionumber' ) {
+            my ( $biblionumbertagfield, $biblionumbertagsubfield ) = &GetMarcFromKohaField( "biblio.biblionumber", '' );
+            if ( $biblionumbertagfield < 10 ) {
+                $newfield = MARC::Field->new( $biblionumbertagfield, $cgi->param($param), );
             } else {
-                $newfield = MARC::Field->new(
-                    $biblionumbertagfield,
-                    '',
-                    '',
-                    "$biblionumbertagsubfield" => $cgi->param($param),
-                );
+                $newfield = MARC::Field->new( $biblionumbertagfield, '', '', "$biblionumbertagsubfield" => $cgi->param($param), );
             }
-            push @fields,$newfield if($newfield);
-        } 
-        elsif ($param =~ /^tag_(\d*)_indicator_/){ # new field start when having 'input name="..._indicator_..."
-            my $tag  = $1;
-            
-            my $ind1 = substr($cgi->param($param),0,1);
-            my $ind2 = substr($cgi->param($param),1,1);
-            $newfield=0;
-            my $j=$i+1;
-            
-            if($tag < 10){ # no code for theses fields
-    # in MARC editor, 000 contains the leader.
-                if ($tag eq '000' ) {
-                    $record->leader($cgi->param($params->[$j+1])) if length($cgi->param($params->[$j+1]))==24;
-    # between 001 and 009 (included)
-                } else {
-                    $newfield = MARC::Field->new(
-                        $tag,
-                        $cgi->param($params->[$j+1]),
-                    );
+            push @fields, $newfield if ($newfield);
+        } elsif ( $param =~ /^tag_(\d*)_indicator1_/ ) {    # new field start when having 'input name="..._indicator1_..."
+            my $tag = $1;
+
+            my $ind1 = _default_ind_to_space( substr( $cgi->param($param), 0, 1 ) );
+            my $ind2 = _default_ind_to_space( substr( $cgi->param( $params->[ $i + 1 ] ), 0, 1 ) );
+            $newfield = 0;
+            my $j = $i + 2;
+
+            if ( $tag < 10 ) {                              # no code for theses fields
+                                                            # in MARC editor, 000 contains the leader.
+                if ( $tag eq '000' ) {
+                    $record->leader( $cgi->param( $params->[ $j + 1 ] ) ) if length( $cgi->param( $params->[ $j + 1 ] ) ) == 24;
+
+                    # between 001 and 009 (included)
+                } elsif ( $cgi->param( $params->[ $j + 1 ] ) ne '' ) {
+                    $newfield = MARC::Field->new( $tag, $cgi->param( $params->[ $j + 1 ] ), );
                 }
-    # > 009, deal with subfields
+
+                # > 009, deal with subfields
             } else {
-                while($params->[$j] =~ /_code_/){ # browse all it's subfield
+                while ( defined $params->[$j] && $params->[$j] =~ /_code_/ ) {    # browse all it's subfield
                     my $inner_param = $params->[$j];
-                    if ($newfield){
-                        if($cgi->param($params->[$j+1])){  # only if there is a value (code => value)
-                            $newfield->add_subfields(
-                                $cgi->param($inner_param) => $cgi->param($params->[$j+1])
-                            );
+                    if ($newfield) {
+                        if ( $cgi->param( $params->[ $j + 1 ] ) ne '' ) {         # only if there is a value (code => value)
+                            $newfield->add_subfields( $cgi->param($inner_param) => $cgi->param( $params->[ $j + 1 ] ) );
                         }
                     } else {
-                        if ( $cgi->param($params->[$j+1]) ) { # creating only if there is a value (code => value)
-                            $newfield = MARC::Field->new(
-                                $tag,
-                                ''.$ind1,
-                                ''.$ind2,
-                                $cgi->param($inner_param) => $cgi->param($params->[$j+1]),
-                            );
+                        if ( $cgi->param( $params->[ $j + 1 ] ) ne '' ) {         # creating only if there is a value (code => value)
+                            $newfield = MARC::Field->new( $tag, $ind1, $ind2, $cgi->param($inner_param) => $cgi->param( $params->[ $j + 1 ] ), );
                         }
                     }
-                    $j+=2;
+                    $j += 2;
                 }
             }
-            push @fields,$newfield if($newfield);
+            push @fields, $newfield if ($newfield);
         }
         $i++;
     }
-    
+
     $record->append_fields(@fields);
     return $record;
 }
 
+# cache inverted MARC field map
+our $inverted_field_map;
+
 =head2 TransformMarcToKoha
 
-=over 4
+  $result = TransformMarcToKoha( $dbh, $record, $frameworkcode )
+
+Extract data from a MARC bib record into a hashref representing
+Koha biblio, biblioitems, and items fields. 
+
+=cut
+
+sub TransformMarcToKoha {
+    my ( $dbh, $record, $frameworkcode, $limit_table ) = @_;
+
+    my $result;
+    $limit_table = $limit_table || 0;
+    $frameworkcode = '' unless defined $frameworkcode;
+
+    unless ( defined $inverted_field_map ) {
+        $inverted_field_map = _get_inverted_marc_field_map();
+    }
+
+    my %tables = ();
+    if ( defined $limit_table && $limit_table eq 'items' ) {
+        $tables{'items'} = 1;
+    } else {
+        $tables{'items'}       = 1;
+        $tables{'biblio'}      = 1;
+        $tables{'biblioitems'} = 1;
+    }
+
+    # traverse through record
+  MARCFIELD: foreach my $field ( $record->fields() ) {
+        my $tag = $field->tag();
+        next MARCFIELD unless exists $inverted_field_map->{$frameworkcode}->{$tag};
+        if ( $field->is_control_field() ) {
+            my $kohafields = $inverted_field_map->{$frameworkcode}->{$tag}->{list};
+          ENTRY: foreach my $entry ( @{$kohafields} ) {
+                my ( $subfield, $table, $column ) = @{$entry};
+                next ENTRY unless exists $tables{$table};
+                my $key = _disambiguate( $table, $column );
+                if ( $result->{$key} ) {
+                    unless ( ( $key eq "biblionumber" or $key eq "biblioitemnumber" ) and ( $field->data() eq "" ) ) {
+                        $result->{$key} .= " | " . $field->data();
+                    }
+                } else {
+                    $result->{$key} = $field->data();
+                }
+            }
+        } else {
+
+            # deal with subfields
+          MARCSUBFIELD: foreach my $sf ( $field->subfields() ) {
+                my $code = $sf->[0];
+                next MARCSUBFIELD unless exists $inverted_field_map->{$frameworkcode}->{$tag}->{sfs}->{$code};
+                my $value = $sf->[1];
+              SFENTRY: foreach my $entry ( @{ $inverted_field_map->{$frameworkcode}->{$tag}->{sfs}->{$code} } ) {
+                    my ( $table, $column ) = @{$entry};
+                    next SFENTRY unless exists $tables{$table};
+                    my $key = _disambiguate( $table, $column );
+                    if ( $result->{$key} ) {
+                        unless ( ( $key eq "biblionumber" or $key eq "biblioitemnumber" ) and ( $value eq "" ) ) {
+                            $result->{$key} .= " | " . $value;
+                        }
+                    } else {
+                        $result->{$key} = $value;
+                    }
+                }
+            }
+        }
+    }
+
+    # modify copyrightdate to keep only the 1st year found
+    if ( exists $result->{'copyrightdate'} ) {
+        my $temp = $result->{'copyrightdate'};
+        $temp =~ m/c(\d\d\d\d)/;
+        if ( $temp =~ m/c(\d\d\d\d)/ and $1 > 0 ) {    # search cYYYY first
+            $result->{'copyrightdate'} = $1;
+        } else {                                       # if no cYYYY, get the 1st date.
+            $temp =~ m/(\d\d\d\d)/;
+            $result->{'copyrightdate'} = $1;
+        }
+    }
+
+    # modify publicationyear to keep only the 1st year found
+    if ( exists $result->{'publicationyear'} ) {
+        my $temp = $result->{'publicationyear'};
+        if ( $temp =~ m/c(\d\d\d\d)/ and $1 > 0 ) {    # search cYYYY first
+            $result->{'publicationyear'} = $1;
+        } else {                                       # if no cYYYY, get the 1st date.
+            $temp =~ m/(\d\d\d\d)/;
+            $result->{'publicationyear'} = $1;
+        }
+    }
+
+    return $result;
+}
+
+sub _get_inverted_marc_field_map {
+    my $field_map = {};
+    my $relations = C4::Context->marcfromkohafield;
+
+    foreach my $frameworkcode ( keys %{$relations} ) {
+        foreach my $kohafield ( keys %{ $relations->{$frameworkcode} } ) {
+            next unless @{ $relations->{$frameworkcode}->{$kohafield} };    # not all columns are mapped to MARC tag & subfield
+            my $tag      = $relations->{$frameworkcode}->{$kohafield}->[0];
+            my $subfield = $relations->{$frameworkcode}->{$kohafield}->[1];
+            my ( $table, $column ) = split /[.]/, $kohafield, 2;
+            push @{ $field_map->{$frameworkcode}->{$tag}->{list} }, [ $subfield, $table, $column ];
+            push @{ $field_map->{$frameworkcode}->{$tag}->{sfs}->{$subfield} }, [ $table, $column ];
+        }
+    }
+    return $field_map;
+}
+
+=head2 _disambiguate
 
-       $result = TransformMarcToKoha( $dbh, $record, $frameworkcode )
+  $newkey = _disambiguate($table, $field);
+
+This is a temporary hack to distinguish between the
+following sets of columns when using TransformMarcToKoha.
+
+  items.cn_source & biblioitems.cn_source
+  items.cn_sort & biblioitems.cn_sort
+
+Columns that are currently NOT distinguished (FIXME
+due to lack of time to fully test) are:
+
+  biblio.notes and biblioitems.notes
+  biblionumber
+  timestamp
+  biblioitemnumber
+
+FIXME - this is necessary because prefixing each column
+name with the table name would require changing lots
+of code and templates, and exposing more of the DB
+structure than is good to the UI templates, particularly
+since biblio and bibloitems may well merge in a future
+version.  In the future, it would also be good to 
+separate DB access and UI presentation field names
+more.
+
+=cut
+
+sub CountItemsIssued {
+    my ($biblionumber) = @_;
+    my $dbh            = C4::Context->dbh;
+    my $sth            = $dbh->prepare('SELECT COUNT(*) as issuedCount FROM items, issues WHERE items.itemnumber = issues.itemnumber AND items.biblionumber = ?');
+    $sth->execute($biblionumber);
+    my $row = $sth->fetchrow_hashref();
+    return $row->{'issuedCount'};
+}
+
+sub _disambiguate {
+    my ( $table, $column ) = @_;
+    if ( $column eq "cn_sort" or $column eq "cn_source" ) {
+        return $table . '.' . $column;
+    } else {
+        return $column;
+    }
+
+}
 
-=back
+=head2 get_koha_field_from_marc
 
-=cut
+  $result->{_disambiguate($table, $field)} = 
+     get_koha_field_from_marc($table,$field,$record,$frameworkcode);
 
-sub TransformMarcToKoha {
-    my ( $dbh, $record, $frameworkcode ) = @_;
-    
-    #  FIXME :: This query is unused..
-    #    my $sth =
-    #      $dbh->prepare(
-    #"select tagfield,tagsubfield from marc_subfield_structure where frameworkcode=? and kohafield=?"
-    #      );
-    
-    my $result;
-    my $sth2 = $dbh->prepare("SHOW COLUMNS from biblio");
-    $sth2->execute;
-    my $field;
-    while ( ($field) = $sth2->fetchrow ) {
-        $result =
-          &TransformMarcToKohaOneField( "biblio", $field, $record, $result,
-            $frameworkcode );
-    }
-    my $sth2 = $dbh->prepare("SHOW COLUMNS from biblioitems");
-    $sth2->execute;
-    while ( ($field) = $sth2->fetchrow ) {
-        if ( $field eq 'notes' ) { $field = 'bnotes'; }
-        $result =
-          &TransformMarcToKohaOneField( "biblioitems", $field, $record, $result,
-            $frameworkcode );
-    }
-    $sth2 = $dbh->prepare("SHOW COLUMNS from items");
-    $sth2->execute;
-    while ( ($field) = $sth2->fetchrow ) {
-        $result =
-          &TransformMarcToKohaOneField( "items", $field, $record, $result,
-            $frameworkcode );
-    }
+Internal function to map data from the MARC record to a specific non-MARC field.
+FIXME: this is meant to replace TransformMarcToKohaOneField after more testing.
 
-    #
-    # modify copyrightdate to keep only the 1st year found
-    my $temp = $result->{'copyrightdate'};
-    $temp =~ m/c(\d\d\d\d)/;    # search cYYYY first
-    if ( $1 > 0 ) {
-        $result->{'copyrightdate'} = $1;
-    }
-    else {                      # if no cYYYY, get the 1st date.
-        $temp =~ m/(\d\d\d\d)/;
-        $result->{'copyrightdate'} = $1;
-    }
+=cut
 
-    # modify publicationyear to keep only the 1st year found
-    $temp = $result->{'publicationyear'};
-    $temp =~ m/c(\d\d\d\d)/;    # search cYYYY first
-    if ( $1 > 0 ) {
-        $result->{'publicationyear'} = $1;
-    }
-    else {                      # if no cYYYY, get the 1st date.
-        $temp =~ m/(\d\d\d\d)/;
-        $result->{'publicationyear'} = $1;
+sub get_koha_field_from_marc {
+    my ( $koha_table, $koha_column, $record, $frameworkcode ) = @_;
+    my ( $tagfield, $subfield ) = GetMarcFromKohaField( $koha_table . '.' . $koha_column, $frameworkcode );
+    my $kohafield;
+    foreach my $field ( $record->field($tagfield) ) {
+        if ( $field->tag() < 10 ) {
+            if ($kohafield) {
+                $kohafield .= " | " . $field->data();
+            } else {
+                $kohafield = $field->data();
+            }
+        } else {
+            if ( $field->subfields ) {
+                my @subfields = $field->subfields();
+                foreach my $subfieldcount ( 0 .. $#subfields ) {
+                    if ( $subfields[$subfieldcount][0] eq $subfield ) {
+                        if ($kohafield) {
+                            $kohafield .= " | " . $subfields[$subfieldcount][1];
+                        } else {
+                            $kohafield = $subfields[$subfieldcount][1];
+                        }
+                    }
+                }
+            }
+        }
     }
-    return $result;
+    return $kohafield;
 }
 
 =head2 TransformMarcToKohaOneField
 
-=over 4
-
-$result = TransformMarcToKohaOneField( $kohatable, $kohafield, $record, $result, $frameworkcode )
-
-=back
+  $result = TransformMarcToKohaOneField( $kohatable, $kohafield, $record, $result, $frameworkcode )
 
 =cut
 
@@ -2447,30 +2171,23 @@ sub TransformMarcToKohaOneField {
     # only the 1st will be retrieved...
     my ( $kohatable, $kohafield, $record, $result, $frameworkcode ) = @_;
     my $res = "";
-    my ( $tagfield, $subfield ) =
-      GetMarcFromKohaField( $kohatable . "." . $kohafield,
-        $frameworkcode );
+    my ( $tagfield, $subfield ) = GetMarcFromKohaField( $kohatable . "." . $kohafield, $frameworkcode );
     foreach my $field ( $record->field($tagfield) ) {
         if ( $field->tag() < 10 ) {
             if ( $result->{$kohafield} ) {
                 $result->{$kohafield} .= " | " . $field->data();
-            }
-            else {
+            } else {
                 $result->{$kohafield} = $field->data();
             }
-        }
-        else {
+        } else {
             if ( $field->subfields ) {
                 my @subfields = $field->subfields();
                 foreach my $subfieldcount ( 0 .. $#subfields ) {
                     if ( $subfields[$subfieldcount][0] eq $subfield ) {
                         if ( $result->{$kohafield} ) {
-                            $result->{$kohafield} .=
-                              " | " . $subfields[$subfieldcount][1];
-                        }
-                        else {
-                            $result->{$kohafield} =
-                              $subfields[$subfieldcount][1];
+                            $result->{$kohafield} .= " | " . $subfields[$subfieldcount][1];
+                        } else {
+                            $result->{$kohafield} = $subfields[$subfieldcount][1];
                         }
                     }
                 }
@@ -2482,233 +2199,35 @@ sub TransformMarcToKohaOneField {
 
 =head1  OTHER FUNCTIONS
 
-=head2 char_decode
-
-=over 4
-
-my $string = char_decode( $string, $encoding );
-
-converts ISO 5426 coded string to UTF-8
-sloppy code : should be improved in next issue
-
-=back
-
-=cut
-
-sub char_decode {
-    my ( $string, $encoding ) = @_;
-    $_ = $string;
-
-    $encoding = C4::Context->preference("marcflavour") unless $encoding;
-    if ( $encoding eq "UNIMARC" ) {
-
-        #         s/\xe1/Æ/gm;
-        s/\xe2/Ğ/gm;
-        s/\xe9/Ø/gm;
-        s/\xec/ş/gm;
-        s/\xf1/æ/gm;
-        s/\xf3/ğ/gm;
-        s/\xf9/ø/gm;
-        s/\xfb/ß/gm;
-        s/\xc1\x61/à/gm;
-        s/\xc1\x65/è/gm;
-        s/\xc1\x69/ì/gm;
-        s/\xc1\x6f/ò/gm;
-        s/\xc1\x75/ù/gm;
-        s/\xc1\x41/À/gm;
-        s/\xc1\x45/È/gm;
-        s/\xc1\x49/Ì/gm;
-        s/\xc1\x4f/Ò/gm;
-        s/\xc1\x55/Ù/gm;
-        s/\xc2\x41/Á/gm;
-        s/\xc2\x45/É/gm;
-        s/\xc2\x49/Í/gm;
-        s/\xc2\x4f/Ó/gm;
-        s/\xc2\x55/Ú/gm;
-        s/\xc2\x59/İ/gm;
-        s/\xc2\x61/á/gm;
-        s/\xc2\x65/é/gm;
-        s/\xc2\x69/í/gm;
-        s/\xc2\x6f/ó/gm;
-        s/\xc2\x75/ú/gm;
-        s/\xc2\x79/ı/gm;
-        s/\xc3\x41/Â/gm;
-        s/\xc3\x45/Ê/gm;
-        s/\xc3\x49/Î/gm;
-        s/\xc3\x4f/Ô/gm;
-        s/\xc3\x55/Û/gm;
-        s/\xc3\x61/â/gm;
-        s/\xc3\x65/ê/gm;
-        s/\xc3\x69/î/gm;
-        s/\xc3\x6f/ô/gm;
-        s/\xc3\x75/û/gm;
-        s/\xc4\x41/Ã/gm;
-        s/\xc4\x4e/Ñ/gm;
-        s/\xc4\x4f/Õ/gm;
-        s/\xc4\x61/ã/gm;
-        s/\xc4\x6e/ñ/gm;
-        s/\xc4\x6f/õ/gm;
-        s/\xc8\x41/Ä/gm;
-        s/\xc8\x45/Ë/gm;
-        s/\xc8\x49/Ï/gm;
-        s/\xc8\x61/ä/gm;
-        s/\xc8\x65/ë/gm;
-        s/\xc8\x69/ï/gm;
-        s/\xc8\x6F/ö/gm;
-        s/\xc8\x75/ü/gm;
-        s/\xc8\x76/ÿ/gm;
-        s/\xc9\x41/Ä/gm;
-        s/\xc9\x45/Ë/gm;
-        s/\xc9\x49/Ï/gm;
-        s/\xc9\x4f/Ö/gm;
-        s/\xc9\x55/Ü/gm;
-        s/\xc9\x61/ä/gm;
-        s/\xc9\x6f/ö/gm;
-        s/\xc9\x75/ü/gm;
-        s/\xca\x41/Å/gm;
-        s/\xca\x61/å/gm;
-        s/\xd0\x43/Ç/gm;
-        s/\xd0\x63/ç/gm;
-
-        # this handles non-sorting blocks (if implementation requires this)
-        $string = nsb_clean($_);
-    }
-    elsif ( $encoding eq "USMARC" || $encoding eq "MARC21" ) {
-        ##MARC-8 to UTF-8
-
-        s/\xe1\x61/à/gm;
-        s/\xe1\x65/è/gm;
-        s/\xe1\x69/ì/gm;
-        s/\xe1\x6f/ò/gm;
-        s/\xe1\x75/ù/gm;
-        s/\xe1\x41/À/gm;
-        s/\xe1\x45/È/gm;
-        s/\xe1\x49/Ì/gm;
-        s/\xe1\x4f/Ò/gm;
-        s/\xe1\x55/Ù/gm;
-        s/\xe2\x41/Á/gm;
-        s/\xe2\x45/É/gm;
-        s/\xe2\x49/Í/gm;
-        s/\xe2\x4f/Ó/gm;
-        s/\xe2\x55/Ú/gm;
-        s/\xe2\x59/İ/gm;
-        s/\xe2\x61/á/gm;
-        s/\xe2\x65/é/gm;
-        s/\xe2\x69/í/gm;
-        s/\xe2\x6f/ó/gm;
-        s/\xe2\x75/ú/gm;
-        s/\xe2\x79/ı/gm;
-        s/\xe3\x41/Â/gm;
-        s/\xe3\x45/Ê/gm;
-        s/\xe3\x49/Î/gm;
-        s/\xe3\x4f/Ô/gm;
-        s/\xe3\x55/Û/gm;
-        s/\xe3\x61/â/gm;
-        s/\xe3\x65/ê/gm;
-        s/\xe3\x69/î/gm;
-        s/\xe3\x6f/ô/gm;
-        s/\xe3\x75/û/gm;
-        s/\xe4\x41/Ã/gm;
-        s/\xe4\x4e/Ñ/gm;
-        s/\xe4\x4f/Õ/gm;
-        s/\xe4\x61/ã/gm;
-        s/\xe4\x6e/ñ/gm;
-        s/\xe4\x6f/õ/gm;
-        s/\xe6\x41/Ă/gm;
-        s/\xe6\x45/Ĕ/gm;
-        s/\xe6\x65/ĕ/gm;
-        s/\xe6\x61/ă/gm;
-        s/\xe8\x45/Ë/gm;
-        s/\xe8\x49/Ï/gm;
-        s/\xe8\x65/ë/gm;
-        s/\xe8\x69/ï/gm;
-        s/\xe8\x76/ÿ/gm;
-        s/\xe9\x41/A/gm;
-        s/\xe9\x4f/O/gm;
-        s/\xe9\x55/U/gm;
-        s/\xe9\x61/a/gm;
-        s/\xe9\x6f/o/gm;
-        s/\xe9\x75/u/gm;
-        s/\xea\x41/A/gm;
-        s/\xea\x61/a/gm;
-
-        #Additional Turkish characters
-        s/\x1b//gm;
-        s/\x1e//gm;
-        s/(\xf0)s/\xc5\x9f/gm;
-        s/(\xf0)S/\xc5\x9e/gm;
-        s/(\xf0)c/ç/gm;
-        s/(\xf0)C/Ç/gm;
-        s/\xe7\x49/\\xc4\xb0/gm;
-        s/(\xe6)G/\xc4\x9e/gm;
-        s/(\xe6)g/ğ\xc4\x9f/gm;
-        s/\xB8/ı/gm;
-        s/\xB9/£/gm;
-        s/(\xe8|\xc8)o/ö/gm;
-        s/(\xe8|\xc8)O/Ö/gm;
-        s/(\xe8|\xc8)u/ü/gm;
-        s/(\xe8|\xc8)U/Ü/gm;
-        s/\xc2\xb8/\xc4\xb1/gm;
-        s/¸/\xc4\xb1/gm;
-
-        # this handles non-sorting blocks (if implementation requires this)
-        $string = nsb_clean($_);
-    }
-    return ($string);
-}
-
-=head2 nsb_clean
-
-=over 4
-
-my $string = nsb_clean( $string, $encoding );
-
-=back
-
-=cut
-
-sub nsb_clean {
-    my $NSB      = '\x88';    # NSB : begin Non Sorting Block
-    my $NSE      = '\x89';    # NSE : Non Sorting Block end
-                              # handles non sorting blocks
-    my ($string) = @_;
-    $_ = $string;
-    s/$NSB/(/gm;
-    s/[ ]{0,1}$NSE/) /gm;
-    $string = $_;
-    return ($string);
-}
 
 =head2 PrepareItemrecordDisplay
 
-=over 4
-
-PrepareItemrecordDisplay($itemrecord,$bibnum,$itemumber);
+  PrepareItemrecordDisplay($itemrecord,$bibnum,$itemumber,$frameworkcode);
 
 Returns a hash with all the fields for Display a given item data in a template
 
-=back
+The $frameworkcode returns the item for the given frameworkcode, ONLY if bibnum is not provided
 
 =cut
 
 sub PrepareItemrecordDisplay {
 
-    my ( $bibnum, $itemnum ) = @_;
+    my ( $bibnum, $itemnum, $defaultvalues, $frameworkcode ) = @_;
 
     my $dbh = C4::Context->dbh;
-    my $frameworkcode = &GetFrameworkCode( $bibnum );
-    my ( $itemtagfield, $itemtagsubfield ) =
-      &GetMarcFromKohaField( "items.itemnumber", $frameworkcode );
+    $frameworkcode = &GetFrameworkCode($bibnum) if $bibnum;
+    my ( $itemtagfield, $itemtagsubfield ) = &GetMarcFromKohaField( "items.itemnumber", $frameworkcode );
     my $tagslib = &GetMarcStructure( 1, $frameworkcode );
-    my $itemrecord = GetMarcItem( $bibnum, $itemnum) if ($itemnum);
+
+    # return nothing if we don't have found an existing framework.
+    return "" unless $tagslib;
+    my $itemrecord = C4::Items::GetMarcItem( $bibnum, $itemnum ) if ($itemnum);
     my @loop_data;
-    my $authorised_values_sth =
-      $dbh->prepare(
-"select authorised_value,lib from authorised_values where category=? order by lib"
-      );
+    my $authorised_values_sth = $dbh->prepare( "SELECT authorised_value,lib FROM authorised_values WHERE category=? ORDER BY lib" );
     foreach my $tag ( sort keys %{$tagslib} ) {
         my $previous_tag = '';
         if ( $tag ne '' ) {
+
             # loop through each subfield
             my $cntsubf;
             foreach my $subfield ( sort keys %{ $tagslib->{$tag} } ) {
@@ -2718,38 +2237,48 @@ sub PrepareItemrecordDisplay {
                 $subfield_data{tag}           = $tag;
                 $subfield_data{subfield}      = $subfield;
                 $subfield_data{countsubfield} = $cntsubf++;
-                $subfield_data{kohafield}     =
-                  $tagslib->{$tag}->{$subfield}->{'kohafield'};
-
-         #        $subfield_data{marc_lib}=$tagslib->{$tag}->{$subfield}->{lib};
-                $subfield_data{marc_lib} =
-                    "<span id=\"error\" title=\""
-                  . $tagslib->{$tag}->{$subfield}->{lib} . "\">"
-                  . substr( $tagslib->{$tag}->{$subfield}->{lib}, 0, 12 )
-                  . "</span>";
-                $subfield_data{mandatory} =
-                  $tagslib->{$tag}->{$subfield}->{mandatory};
-                $subfield_data{repeatable} =
-                  $tagslib->{$tag}->{$subfield}->{repeatable};
-                $subfield_data{hidden} = "display:none"
+                $subfield_data{kohafield}     = $tagslib->{$tag}->{$subfield}->{'kohafield'};
+
+                #        $subfield_data{marc_lib}=$tagslib->{$tag}->{$subfield}->{lib};
+                $subfield_data{marc_lib}   = $tagslib->{$tag}->{$subfield}->{lib};
+                $subfield_data{mandatory}  = $tagslib->{$tag}->{$subfield}->{mandatory};
+                $subfield_data{repeatable} = $tagslib->{$tag}->{$subfield}->{repeatable};
+                $subfield_data{hidden}     = "display:none"
                   if $tagslib->{$tag}->{$subfield}->{hidden};
-                my ( $x, $value );
-                ( $x, $value ) = _find_value( $tag, $subfield, $itemrecord )
-                  if ($itemrecord);
-                $value =~ s/"/&quot;/g;
+                my ( $x, $defaultvalue );
+                if ($itemrecord) {
+                    ( $x, $defaultvalue ) = _find_value( $tag, $subfield, $itemrecord );
+                }
+                $defaultvalue = $tagslib->{$tag}->{$subfield}->{defaultvalue} unless $defaultvalue;
+                if ( !defined $defaultvalue ) {
+                    $defaultvalue = q||;
+                }
+                $defaultvalue =~ s/"/&quot;/g;
 
                 # search for itemcallnumber if applicable
-                if ( $tagslib->{$tag}->{$subfield}->{kohafield} eq
-                    'items.itemcallnumber'
-                    && C4::Context->preference('itemcallnumber') )
-                {
-                    my $CNtag =
-                      substr( C4::Context->preference('itemcallnumber'), 0, 3 );
-                    my $CNsubfield =
-                      substr( C4::Context->preference('itemcallnumber'), 3, 1 );
+                if ( $tagslib->{$tag}->{$subfield}->{kohafield} eq 'items.itemcallnumber'
+                    && C4::Context->preference('itemcallnumber') ) {
+                    my $CNtag      = substr( C4::Context->preference('itemcallnumber'), 0, 3 );
+                    my $CNsubfield = substr( C4::Context->preference('itemcallnumber'), 3, 1 );
                     my $temp = $itemrecord->field($CNtag) if ($itemrecord);
                     if ($temp) {
-                        $value = $temp->subfield($CNsubfield);
+                        $defaultvalue = $temp->subfield($CNsubfield);
+                    }
+                }
+                if (   $tagslib->{$tag}->{$subfield}->{kohafield} eq 'items.itemcallnumber'
+                    && $defaultvalues
+                    && $defaultvalues->{'callnumber'} ) {
+                    my $temp = $itemrecord->field($subfield) if ($itemrecord);
+                    unless ($temp) {
+                        $defaultvalue = $defaultvalues->{'callnumber'} if $defaultvalues;
+                    }
+                }
+                if (   ( $tagslib->{$tag}->{$subfield}->{kohafield} eq 'items.holdingbranch' || $tagslib->{$tag}->{$subfield}->{kohafield} eq 'items.homebranch' )
+                    && $defaultvalues
+                    && $defaultvalues->{'branchcode'} ) {
+                    my $temp = $itemrecord->field($subfield) if ($itemrecord);
+                    unless ($temp) {
+                        $defaultvalue = $defaultvalues->{branchcode} if $defaultvalues;
                     }
                 }
                 if ( $tagslib->{$tag}->{$subfield}->{authorised_value} ) {
@@ -2758,73 +2287,58 @@ sub PrepareItemrecordDisplay {
 
                     # builds list, depending on authorised value...
                     #---- branch
-                    if ( $tagslib->{$tag}->{$subfield}->{'authorised_value'} eq
-                        "branches" )
-                    {
-                        if ( ( C4::Context->preference("IndependantBranches") )
-                            && ( C4::Context->userenv->{flags} != 1 ) )
-                        {
-                            my $sth =
-                              $dbh->prepare(
-"select branchcode,branchname from branches where branchcode = ? order by branchname"
-                              );
+                    if ( $tagslib->{$tag}->{$subfield}->{'authorised_value'} eq "branches" ) {
+                        if (   ( C4::Context->preference("IndependantBranches") )
+                            && ( C4::Context->userenv->{flags} % 2 != 1 ) ) {
+                            my $sth = $dbh->prepare( "SELECT branchcode,branchname FROM branches WHERE branchcode = ? ORDER BY branchname" );
                             $sth->execute( C4::Context->userenv->{branch} );
                             push @authorised_values, ""
-                              unless (
-                                $tagslib->{$tag}->{$subfield}->{mandatory} );
-                            while ( my ( $branchcode, $branchname ) =
-                                $sth->fetchrow_array )
-                            {
+                              unless ( $tagslib->{$tag}->{$subfield}->{mandatory} );
+                            while ( my ( $branchcode, $branchname ) = $sth->fetchrow_array ) {
                                 push @authorised_values, $branchcode;
                                 $authorised_lib{$branchcode} = $branchname;
                             }
-                        }
-                        else {
-                            my $sth =
-                              $dbh->prepare(
-"select branchcode,branchname from branches order by branchname"
-                              );
+                        } else {
+                            my $sth = $dbh->prepare( "SELECT branchcode,branchname FROM branches ORDER BY branchname" );
                             $sth->execute;
                             push @authorised_values, ""
-                              unless (
-                                $tagslib->{$tag}->{$subfield}->{mandatory} );
-                            while ( my ( $branchcode, $branchname ) =
-                                $sth->fetchrow_array )
-                            {
+                              unless ( $tagslib->{$tag}->{$subfield}->{mandatory} );
+                            while ( my ( $branchcode, $branchname ) = $sth->fetchrow_array ) {
                                 push @authorised_values, $branchcode;
                                 $authorised_lib{$branchcode} = $branchname;
                             }
                         }
 
                         #----- itemtypes
-                    }
-                    elsif ( $tagslib->{$tag}->{$subfield}->{authorised_value} eq
-                        "itemtypes" )
-                    {
-                        my $sth =
-                          $dbh->prepare(
-"select itemtype,description from itemtypes order by description"
-                          );
+                    } elsif ( $tagslib->{$tag}->{$subfield}->{authorised_value} eq "itemtypes" ) {
+                        my $sth = $dbh->prepare( "SELECT itemtype,description FROM itemtypes ORDER BY description" );
                         $sth->execute;
                         push @authorised_values, ""
                           unless ( $tagslib->{$tag}->{$subfield}->{mandatory} );
-                        while ( my ( $itemtype, $description ) =
-                            $sth->fetchrow_array )
-                        {
+                        while ( my ( $itemtype, $description ) = $sth->fetchrow_array ) {
                             push @authorised_values, $itemtype;
                             $authorised_lib{$itemtype} = $description;
                         }
+                        #---- class_sources
+                    } elsif ( $tagslib->{$tag}->{$subfield}->{authorised_value} eq "cn_source" ) {
+                        push @authorised_values, "" unless ( $tagslib->{$tag}->{$subfield}->{mandatory} );
+
+                        my $class_sources = GetClassSources();
+                        my $default_source = C4::Context->preference("DefaultClassificationSource");
+
+                        foreach my $class_source (sort keys %$class_sources) {
+                            next unless $class_sources->{$class_source}->{'used'} or
+                                        ($class_source eq $default_source);
+                            push @authorised_values, $class_source;
+                            $authorised_lib{$class_source} = $class_sources->{$class_source}->{'description'};
+                        }
 
                         #---- "true" authorised value
-                    }
-                    else {
-                        $authorised_values_sth->execute(
-                            $tagslib->{$tag}->{$subfield}->{authorised_value} );
+                    } else {
+                        $authorised_values_sth->execute( $tagslib->{$tag}->{$subfield}->{authorised_value} );
                         push @authorised_values, ""
                           unless ( $tagslib->{$tag}->{$subfield}->{mandatory} );
-                        while ( my ( $value, $lib ) =
-                            $authorised_values_sth->fetchrow_array )
-                        {
+                        while ( my ( $value, $lib ) = $authorised_values_sth->fetchrow_array ) {
                             push @authorised_values, $value;
                             $authorised_lib{$value} = $lib;
                         }
@@ -2832,31 +2346,14 @@ sub PrepareItemrecordDisplay {
                     $subfield_data{marc_value} = CGI::scrolling_list(
                         -name     => 'field_value',
                         -values   => \@authorised_values,
-                        -default  => "$value",
+                        -default  => "$defaultvalue",
                         -labels   => \%authorised_lib,
                         -size     => 1,
                         -tabindex => '',
                         -multiple => 0,
                     );
-                }
-                elsif ( $tagslib->{$tag}->{$subfield}->{thesaurus_category} ) {
-                    $subfield_data{marc_value} =
-"<input type=\"text\" name=\"field_value\"  size=47 maxlength=255> <a href=\"javascript:Dopop('cataloguing/thesaurus_popup.pl?category=$tagslib->{$tag}->{$subfield}->{thesaurus_category}&index=',)\">...</a>";
-
-#"
-# COMMENTED OUT because No $i is provided with this API.
-# And thus, no value_builder can be activated.
-# BUT could be thought over.
-#         } elsif ($tagslib->{$tag}->{$subfield}->{'value_builder'}) {
-#             my $plugin="value_builder/".$tagslib->{$tag}->{$subfield}->{'value_builder'};
-#             require $plugin;
-#             my $extended_param = plugin_parameters($dbh,$itemrecord,$tagslib,$i,0);
-#             my ($function_name,$javascript) = plugin_javascript($dbh,$record,$tagslib,$i,0);
-#             $subfield_data{marc_value}="<input type=\"text\" value=\"$value\" name=\"field_value\"  size=47 maxlength=255 DISABLE READONLY OnFocus=\"javascript:Focus$function_name()\" OnBlur=\"javascript:Blur$function_name()\"> <a href=\"javascript:Clic$function_name()\">...</a> $javascript";
-                }
-                else {
-                    $subfield_data{marc_value} =
-"<input type=\"text\" name=\"field_value\" value=\"$value\" size=50 maxlength=255>";
+                } else {
+                    $subfield_data{marc_value} = "<input type=\"text\" name=\"field_value\" value=\"$defaultvalue\" size=\"50\" maxlength=\"255\" />";
                 }
                 push( @loop_data, \%subfield_data );
             }
@@ -2871,6 +2368,7 @@ sub PrepareItemrecordDisplay {
         'iteminformation' => \@loop_data
     };
 }
+
 #"
 
 #
@@ -2879,15 +2377,15 @@ sub PrepareItemrecordDisplay {
 # replaced by a zebraqueue table, that is filled with ModZebra to run.
 # the table is emptied by misc/cronjobs/zebraqueue_start.pl script
 # =head2 ModZebrafiles
-# 
+#
 # &ModZebrafiles( $dbh, $biblionumber, $record, $folder, $server );
-# 
+#
 # =cut
-# 
+#
 # sub ModZebrafiles {
-# 
+#
 #     my ( $dbh, $biblionumber, $record, $folder, $server ) = @_;
-# 
+#
 #     my $op;
 #     my $zebradir =
 #       C4::Context->zebraconfig($server)->{directory} . "/" . $folder . "/";
@@ -2897,7 +2395,7 @@ sub PrepareItemrecordDisplay {
 #     }
 #     closedir DIR;
 #     my $filename = $zebradir . $biblionumber;
-# 
+#
 #     if ($record) {
 #         open( OUTPUT, ">", $filename . ".xml" );
 #         print OUTPUT $record;
@@ -2907,89 +2405,104 @@ sub PrepareItemrecordDisplay {
 
 =head2 ModZebra
 
-=over 4
+  ModZebra( $biblionumber, $op, $server, $oldRecord, $newRecord );
 
-ModZebra( $biblionumber, $op, $server, $newRecord );
+$biblionumber is the biblionumber we want to index
 
-    $biblionumber is the biblionumber we want to index
-    $op is specialUpdate or delete, and is used to know what we want to do
-    $server is the server that we want to update
-    $newRecord is the MARC::Record containing the new record. It is usefull only when NoZebra=1, and is used to know what to add to the nozebra database. (the record in mySQL being, if it exist, the previous record, the one just before the modif. We need both : the previous and the new one.
-    
-=back
+$op is specialUpdate or delete, and is used to know what we want to do
+
+$server is the server that we want to update
+
+$oldRecord is the MARC::Record containing the previous version of the record.  This is used only when 
+NoZebra=1, as NoZebra indexing needs to know the previous version of a record in order to
+do an update.
+
+$newRecord is the MARC::Record containing the new record. It is usefull only when NoZebra=1, and is used to know what to add to the nozebra database. (the record in mySQL being, if it exist, the previous record, the one just before the modif. We need both : the previous and the new one.
 
 =cut
 
 sub ModZebra {
 ###Accepts a $server variable thus we can use it for biblios authorities or other zebra dbs
-    my ( $biblionumber, $op, $server, $newRecord ) = @_;
-    my $dbh=C4::Context->dbh;
+    my ( $biblionumber, $op, $server, $oldRecord, $newRecord ) = @_;
+    my $dbh = C4::Context->dbh;
 
     # true ModZebra commented until indexdata fixes zebraDB crashes (it seems they occur on multiple updates
     # at the same time
     # replaced by a zebraqueue table, that is filled with ModZebra to run.
     # the table is emptied by misc/cronjobs/zebraqueue_start.pl script
 
-    if (C4::Context->preference("NoZebra")) {
+    if ( C4::Context->preference("NoZebra") ) {
+
         # lock the nozebra table : we will read index lines, update them in Perl process
         # and write everything in 1 transaction.
         # lock the table to avoid someone else overwriting what we are doing
-        $dbh->do('LOCK TABLES nozebra WRITE,biblio WRITE,biblioitems WRITE, systempreferences WRITE, auth_types WRITE, auth_header WRITE');
-        my %result; # the result hash that will be builded by deletion / add, and written on mySQL at the end, to improve speed
-        my $record;
-        if ($server eq 'biblioserver') {
-            $record= GetMarcBiblio($biblionumber);
-        } else {
-            $record= C4::AuthoritiesMarc::GetAuthority($biblionumber);
-        }
-        if ($op eq 'specialUpdate') {
+        $dbh->do('LOCK TABLES nozebra WRITE,biblio WRITE,biblioitems WRITE, systempreferences WRITE, auth_types WRITE, auth_header WRITE, auth_subfield_structure READ');
+        my %result;    # the result hash that will be built by deletion / add, and written on mySQL at the end, to improve speed
+        if ( $op eq 'specialUpdate' ) {
+
             # OK, we have to add or update the record
-            # 1st delete (virtually, in indexes) ...
-            %result = _DelBiblioNoZebra($biblionumber,$record,$server);
+            # 1st delete (virtually, in indexes), if record actually exists
+            if ($oldRecord) {
+                %result = _DelBiblioNoZebra( $biblionumber, $oldRecord, $server );
+            }
+
             # ... add the record
-            %result=_AddBiblioNoZebra($biblionumber,$newRecord, $server, %result);
+            %result = _AddBiblioNoZebra( $biblionumber, $newRecord, $server, %result );
         } else {
+
             # it's a deletion, delete the record...
             # warn "DELETE the record $biblionumber on $server".$record->as_formatted;
-            %result=_DelBiblioNoZebra($biblionumber,$record,$server);
+            %result = _DelBiblioNoZebra( $biblionumber, $oldRecord, $server );
         }
+
         # ok, now update the database...
         my $sth = $dbh->prepare("UPDATE nozebra SET biblionumbers=? WHERE server=? AND indexname=? AND value=?");
-        foreach my $key (keys %result) {
-            foreach my $index (keys %{$result{$key}}) {
-                $sth->execute($result{$key}->{$index}, $server, $key, $index);
+        foreach my $key ( keys %result ) {
+            foreach my $index ( keys %{ $result{$key} } ) {
+                $sth->execute( $result{$key}->{$index}, $server, $key, $index );
             }
         }
         $dbh->do('UNLOCK TABLES');
-
     } else {
+
         #
         # we use zebra, just fill zebraqueue table
         #
-        my $sth=$dbh->prepare("insert into zebraqueue  (biblio_auth_number ,server,operation) values(?,?,?)");
-        $sth->execute($biblionumber,$server,$op);
-        $sth->finish;
+        my $check_sql = "SELECT COUNT(*) FROM zebraqueue 
+                         WHERE server = ?
+                         AND   biblio_auth_number = ?
+                         AND   operation = ?
+                         AND   done = 0";
+        my $check_sth = $dbh->prepare_cached($check_sql);
+        $check_sth->execute( $server, $biblionumber, $op );
+        my ($count) = $check_sth->fetchrow_array;
+        $check_sth->finish();
+        if ( $count == 0 ) {
+            my $sth = $dbh->prepare("INSERT INTO zebraqueue  (biblio_auth_number,server,operation) VALUES(?,?,?)");
+            $sth->execute( $biblionumber, $server, $op );
+            $sth->finish;
+        }
     }
 }
 
 =head2 GetNoZebraIndexes
 
-    %indexes = GetNoZebraIndexes;
-    
-    return the data from NoZebraIndexes syspref.
+  %indexes = GetNoZebraIndexes;
+
+return the data from NoZebraIndexes syspref.
 
 =cut
 
 sub GetNoZebraIndexes {
-    my $index = C4::Context->preference('NoZebraIndexes');
+    my $no_zebra_indexes = C4::Context->preference('NoZebraIndexes');
     my %indexes;
-    foreach my $line (split /('|"),/,$index) {
+  INDEX: foreach my $line ( split /['"],[\n\r]*/, $no_zebra_indexes ) {
         $line =~ /(.*)=>(.*)/;
-        my $index = substr($1,1); # get the index, don't forget to remove initial ' or "
+        my $index  = $1;    # initial ' or " is removed afterwards
         my $fields = $2;
-        $index =~ s/'|"| //g;
-        $fields =~ s/'|"| //g;
-        $indexes{$index}=$fields;
+        $index  =~ s/'|"|\s//g;
+        $fields =~ s/'|"|\s//g;
+        $indexes{$index} = $fields;
     }
     return %indexes;
 }
@@ -2998,96 +2511,116 @@ sub GetNoZebraIndexes {
 
 =head2 _DelBiblioNoZebra($biblionumber,$record,$server);
 
-    function to delete a biblio in NoZebra indexes
-    This function does NOT delete anything in database : it reads all the indexes entries
-    that have to be deleted & delete them in the hash
-    The SQL part is done either :
-    - after the Add if we are modifying a biblio (delete + add again)
-    - immediatly after this sub if we are doing a true deletion.
-    $server can be 'biblioserver' or 'authorityserver' : it indexes biblios or authorities (in the same table, $server being part of the table itself
+function to delete a biblio in NoZebra indexes
+This function does NOT delete anything in database : it reads all the indexes entries
+that have to be deleted & delete them in the hash
 
-=cut
+The SQL part is done either :
+ - after the Add if we are modifying a biblio (delete + add again)
+ - immediatly after this sub if we are doing a true deletion.
+
+$server can be 'biblioserver' or 'authorityserver' : it indexes biblios or authorities (in the same table, $server being part of the table itself
 
+=cut
 
 sub _DelBiblioNoZebra {
-    my ($biblionumber, $record, $server)=@_;
-    
+    my ( $biblionumber, $record, $server ) = @_;
+
     # Get the indexes
     my $dbh = C4::Context->dbh;
+
     # Get the indexes
     my %index;
     my $title;
-    if ($server eq 'biblioserver') {
-        %index=GetNoZebraIndexes;
+    if ( $server eq 'biblioserver' ) {
+        %index = GetNoZebraIndexes;
+
         # get title of the record (to store the 10 first letters with the index)
-        my ($titletag,$titlesubfield) = GetMarcFromKohaField('biblio.title');
-        $title = lc($record->subfield($titletag,$titlesubfield));
+        my ( $titletag, $titlesubfield ) = GetMarcFromKohaField( 'biblio.title', '' );    # FIXME: should be GetFrameworkCode($biblionumber) ??
+        $title = lc( $record->subfield( $titletag, $titlesubfield ) );
     } else {
+
         # for authorities, the "title" is the $a mainentry
-        my $authref = C4::AuthoritiesMarc::GetAuthType($record->subfield(152,'b'));
-        warn "ERROR : authtype undefined for ".$record->as_formatted unless $authref;
-        $title = $record->subfield($authref->{auth_tag_to_report},'a');
-        $index{'mainmainentry'}= $authref->{'auth_tag_to_report'}.'a';
-        $index{'mainentry'}    = $authref->{'auth_tag_to_report'}.'*';
-        $index{'auth_type'}    = '152b';
+        my ( $auth_type_tag, $auth_type_sf ) = C4::AuthoritiesMarc::get_auth_type_location();
+        my $authref = C4::AuthoritiesMarc::GetAuthType( $record->subfield( $auth_type_tag, $auth_type_sf ) );
+        warn "ERROR : authtype undefined for " . $record->as_formatted unless $authref;
+        $title = $record->subfield( $authref->{auth_tag_to_report}, 'a' );
+        $index{'mainmainentry'} = $authref->{'auth_tag_to_report'} . 'a';
+        $index{'mainentry'}     = $authref->{'auth_tag_to_report'} . '*';
+        $index{'auth_type'}     = "${auth_type_tag}${auth_type_sf}";
     }
-    
+
     my %result;
+
     # remove blancks comma (that could cause problem when decoding the string for CQL retrieval) and regexp specific values
     $title =~ s/ |,|;|\[|\]|\(|\)|\*|-|'|=//g;
+
     # limit to 10 char, should be enough, and limit the DB size
-    $title = substr($title,0,10);
+    $title = substr( $title, 0, 10 );
+
     #parse each field
-    my $sth2=$dbh->prepare('SELECT biblionumbers FROM nozebra WHERE server=? AND indexname=? AND value=?');
-    foreach my $field ($record->fields()) {
+    my $sth2 = $dbh->prepare('SELECT biblionumbers FROM nozebra WHERE server=? AND indexname=? AND value=?');
+    foreach my $field ( $record->fields() ) {
+
         #parse each subfield
-        next if $field->tag <10;
-        foreach my $subfield ($field->subfields()) {
-            my $tag = $field->tag();
+        next if $field->tag < 10;
+        foreach my $subfield ( $field->subfields() ) {
+            my $tag          = $field->tag();
             my $subfieldcode = $subfield->[0];
-            my $indexed=0;
+            my $indexed      = 0;
+
             # check each index to see if the subfield is stored somewhere
             # otherwise, store it in __RAW__ index
-            foreach my $key (keys %index) {
-#                 warn "examining $key index : ".$index{$key}." for $tag $subfieldcode";
-                if ($index{$key} =~ /$tag\*/ or $index{$key} =~ /$tag$subfieldcode/) {
-                    $indexed=1;
-                    my $line= lc $subfield->[1];
+            foreach my $key ( keys %index ) {
+
+                #                 warn "examining $key index : ".$index{$key}." for $tag $subfieldcode";
+                if ( $index{$key} =~ /$tag\*/ or $index{$key} =~ /$tag$subfieldcode/ ) {
+                    $indexed = 1;
+                    my $line = lc $subfield->[1];
+
                     # remove meaningless value in the field...
                     $line =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|<|>|&|\+|\*|\/|=|:/ /g;
+
                     # ... and split in words
-                    foreach (split / /,$line) {
-                        next unless $_; # skip  empty values (multiple spaces)
-                        # if the entry is already here, do nothing, the biblionumber has already be removed
-                        unless ($result{$key}->{$_} =~ /$biblionumber,$title\-(\d);/) {
+                    foreach ( split / /, $line ) {
+                        next unless $_;    # skip  empty values (multiple spaces)
+                                           # if the entry is already here, do nothing, the biblionumber has already be removed
+                        unless ( defined( $result{$key}->{$_} ) && ( $result{$key}->{$_} =~ /$biblionumber,$title\-(\d);/ ) ) {
+
                             # get the index value if it exist in the nozebra table and remove the entry, otherwise, do nothing
-                            $sth2->execute($server,$key,$_);
+                            $sth2->execute( $server, $key, $_ );
                             my $existing_biblionumbers = $sth2->fetchrow;
+
                             # it exists
                             if ($existing_biblionumbers) {
-#                                 warn " existing for $key $_: $existing_biblionumbers";
-                                $result{$key}->{$_} =$existing_biblionumbers;
+
+                                #                                 warn " existing for $key $_: $existing_biblionumbers";
+                                $result{$key}->{$_} = $existing_biblionumbers;
                                 $result{$key}->{$_} =~ s/$biblionumber,$title\-(\d);//;
                             }
                         }
                     }
                 }
             }
+
             # the subfield is not indexed, store it in __RAW__ index anyway
             unless ($indexed) {
-                my $line= lc $subfield->[1];
+                my $line = lc $subfield->[1];
                 $line =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|<|>|&|\+|\*|\/|=|:/ /g;
+
                 # ... and split in words
-                foreach (split / /,$line) {
-                    next unless $_; # skip  empty values (multiple spaces)
-                    # if the entry is already here, do nothing, the biblionumber has already be removed
-                    unless ($result{'__RAW__'}->{$_} =~ /$biblionumber,$title\-(\d);/) {
+                foreach ( split / /, $line ) {
+                    next unless $_;    # skip  empty values (multiple spaces)
+                                       # if the entry is already here, do nothing, the biblionumber has already be removed
+                    unless ( $result{'__RAW__'}->{$_} =~ /$biblionumber,$title\-(\d);/ ) {
+
                         # get the index value if it exist in the nozebra table and remove the entry, otherwise, do nothing
-                        $sth2->execute($server,'__RAW__',$_);
+                        $sth2->execute( $server, '__RAW__', $_ );
                         my $existing_biblionumbers = $sth2->fetchrow;
+
                         # it exists
                         if ($existing_biblionumbers) {
-                            $result{'__RAW__'}->{$_} =$existing_biblionumbers;
+                            $result{'__RAW__'}->{$_} = $existing_biblionumbers;
                             $result{'__RAW__'}->{$_} =~ s/$biblionumber,$title\-(\d);//;
                         }
                     }
@@ -3098,111 +2631,137 @@ sub _DelBiblioNoZebra {
     return %result;
 }
 
-=head2 _AddBiblioNoZebra($biblionumber, $record, $server, %result);
+=head2 _AddBiblioNoZebra
 
-    function to add a biblio in NoZebra indexes
+  _AddBiblioNoZebra($biblionumber, $record, $server, %result);
+
+function to add a biblio in NoZebra indexes
 
 =cut
 
 sub _AddBiblioNoZebra {
-    my ($biblionumber, $record, $server, %result)=@_;
+    my ( $biblionumber, $record, $server, %result ) = @_;
     my $dbh = C4::Context->dbh;
+
     # Get the indexes
     my %index;
     my $title;
-    if ($server eq 'biblioserver') {
-        %index=GetNoZebraIndexes;
+    if ( $server eq 'biblioserver' ) {
+        %index = GetNoZebraIndexes;
+
         # get title of the record (to store the 10 first letters with the index)
-        my ($titletag,$titlesubfield) = GetMarcFromKohaField('biblio.title');
-        $title = lc($record->subfield($titletag,$titlesubfield));
+        my ( $titletag, $titlesubfield ) = GetMarcFromKohaField( 'biblio.title', '' );    # FIXME: should be GetFrameworkCode($biblionumber) ??
+        $title = lc( $record->subfield( $titletag, $titlesubfield ) );
     } else {
+
         # warn "server : $server";
         # for authorities, the "title" is the $a mainentry
-        my $authref = C4::AuthoritiesMarc::GetAuthType($record->subfield(152,'b'));
-        warn "ERROR : authtype undefined for ".$record->as_formatted unless $authref;
-        $title = $record->subfield($authref->{auth_tag_to_report},'a');
-        $index{'mainmainentry'} = $authref->{auth_tag_to_report}.'a';
-        $index{'mainentry'}     = $authref->{auth_tag_to_report}.'*';
-        $index{'auth_type'}     = '152b';
+        my ( $auth_type_tag, $auth_type_sf ) = C4::AuthoritiesMarc::get_auth_type_location();
+        my $authref = C4::AuthoritiesMarc::GetAuthType( $record->subfield( $auth_type_tag, $auth_type_sf ) );
+        warn "ERROR : authtype undefined for " . $record->as_formatted unless $authref;
+        $title = $record->subfield( $authref->{auth_tag_to_report}, 'a' );
+        $index{'mainmainentry'} = $authref->{auth_tag_to_report} . 'a';
+        $index{'mainentry'}     = $authref->{auth_tag_to_report} . '*';
+        $index{'auth_type'}     = "${auth_type_tag}${auth_type_sf}";
     }
 
     # remove blancks comma (that could cause problem when decoding the string for CQL retrieval) and regexp specific values
-    $title =~ s/ |,|;|\[|\]|\(|\)|\*|-|'|=//g;
+    $title =~ s/ |\.|,|;|\[|\]|\(|\)|\*|-|'|:|=|\r|\n//g;
+
     # limit to 10 char, should be enough, and limit the DB size
-    $title = substr($title,0,10);
+    $title = substr( $title, 0, 10 );
+
     #parse each field
-    my $sth2=$dbh->prepare('SELECT biblionumbers FROM nozebra WHERE server=? AND indexname=? AND value=?');
-    foreach my $field ($record->fields()) {
+    my $sth2 = $dbh->prepare('SELECT biblionumbers FROM nozebra WHERE server=? AND indexname=? AND value=?');
+    foreach my $field ( $record->fields() ) {
+
         #parse each subfield
-        next if $field->tag <10;
-        foreach my $subfield ($field->subfields()) {
-            my $tag = $field->tag();
+        ###FIXME: impossible to index a 001-009 value with NoZebra
+        next if $field->tag < 10;
+        foreach my $subfield ( $field->subfields() ) {
+            my $tag          = $field->tag();
             my $subfieldcode = $subfield->[0];
-            my $indexed=0;
+            my $indexed      = 0;
+
+            #             warn "INDEXING :".$subfield->[1];
             # check each index to see if the subfield is stored somewhere
             # otherwise, store it in __RAW__ index
-            foreach my $key (keys %index) {
-#                 warn "examining $key index : ".$index{$key}." for $tag $subfieldcode";
-                if ($index{$key} =~ /$tag\*/ or $index{$key} =~ /$tag$subfieldcode/) {
-                    $indexed=1;
-                    my $line= lc $subfield->[1];
+            foreach my $key ( keys %index ) {
+
+                #                 warn "examining $key index : ".$index{$key}." for $tag $subfieldcode";
+                if ( $index{$key} =~ /$tag\*/ or $index{$key} =~ /$tag$subfieldcode/ ) {
+                    $indexed = 1;
+                    my $line = lc $subfield->[1];
+
                     # remove meaningless value in the field...
-                    $line =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|<|>|&|\+|\*|\/|=|:/ /g;
+                    $line =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|<|>|&|\+|\*|\/|=|:|\r|\n/ /g;
+
                     # ... and split in words
-                    foreach (split / /,$line) {
-                        next unless $_; # skip  empty values (multiple spaces)
-                        # if the entry is already here, improve weight
-#                         warn "managing $_";
-                        if ($result{$key}->{"$_"} =~ /$biblionumber,$title\-(\d);/) {
-                            my $weight=$1+1;
-                            $result{$key}->{"$_"} =~ s/$biblionumber,$title\-(\d);//;
+                    foreach ( split / /, $line ) {
+                        next unless $_;    # skip  empty values (multiple spaces)
+                                           # if the entry is already here, improve weight
+
+                        #                         warn "managing $_";
+                        if ( exists $result{$key}->{$_} && $result{$key}->{"$_"} =~ /$biblionumber,\Q$title\E\-(\d+);/ ) {
+                            my $weight = $1 + 1;
+                            $result{$key}->{"$_"} =~ s/$biblionumber,\Q$title\E\-(\d+);//g;
                             $result{$key}->{"$_"} .= "$biblionumber,$title-$weight;";
                         } else {
+
                             # get the value if it exist in the nozebra table, otherwise, create it
-                            $sth2->execute($server,$key,$_);
+                            $sth2->execute( $server, $key, $_ );
                             my $existing_biblionumbers = $sth2->fetchrow;
+
                             # it exists
                             if ($existing_biblionumbers) {
-                                $result{$key}->{"$_"} =$existing_biblionumbers;
-                                my $weight=$1+1;
-                                $result{$key}->{"$_"} =~ s/$biblionumber,$title\-(\d);//;
+                                $result{$key}->{"$_"} = $existing_biblionumbers;
+                                my $weight = defined $1 ? $1 + 1 : 1;
+                                $result{$key}->{"$_"} =~ s/$biblionumber,\Q$title\E\-(\d+);//g;
                                 $result{$key}->{"$_"} .= "$biblionumber,$title-$weight;";
-                            # create a new ligne for this entry
+
+                                # create a new ligne for this entry
                             } else {
-#                             warn "INSERT : $server / $key / $_";
-                                $dbh->do('INSERT INTO nozebra SET server='.$dbh->quote($server).', indexname='.$dbh->quote($key).',value='.$dbh->quote($_));
-                                $result{$key}->{"$_"}.="$biblionumber,$title-1;";
+
+                                #                             warn "INSERT : $server / $key / $_";
+                                $dbh->do( 'INSERT INTO nozebra SET server=' . $dbh->quote($server) . ', indexname=' . $dbh->quote($key) . ',value=' . $dbh->quote($_) );
+                                $result{$key}->{"$_"} .= "$biblionumber,$title-1;";
                             }
                         }
                     }
                 }
             }
+
             # the subfield is not indexed, store it in __RAW__ index anyway
             unless ($indexed) {
-                my $line= lc $subfield->[1];
-                $line =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|<|>|&|\+|\*|\/|=|:/ /g;
+                my $line = lc $subfield->[1];
+                $line =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|<|>|&|\+|\*|\/|=|:|\r|\n/ /g;
+
                 # ... and split in words
-                foreach (split / /,$line) {
-                    next unless $_; # skip  empty values (multiple spaces)
-                    # if the entry is already here, improve weight
-                    if ($result{'__RAW__'}->{"$_"} =~ /$biblionumber,$title\-(\d);/) {
-                        my $weight=$1+1;
-                        $result{'__RAW__'}->{"$_"} =~ s/$biblionumber,$title\-(\d);//;
+                foreach ( split / /, $line ) {
+                    next unless $_;    # skip  empty values (multiple spaces)
+                                       # if the entry is already here, improve weight
+                    my $tmpstr = $result{'__RAW__'}->{"$_"} || "";
+                    if ( $tmpstr =~ /$biblionumber,\Q$title\E\-(\d+);/ ) {
+                        my $weight = $1 + 1;
+                        $result{'__RAW__'}->{"$_"} =~ s/$biblionumber,\Q$title\E\-(\d+);//;
                         $result{'__RAW__'}->{"$_"} .= "$biblionumber,$title-$weight;";
                     } else {
+
                         # get the value if it exist in the nozebra table, otherwise, create it
-                        $sth2->execute($server,'__RAW__',$_);
+                        $sth2->execute( $server, '__RAW__', $_ );
                         my $existing_biblionumbers = $sth2->fetchrow;
+
                         # it exists
                         if ($existing_biblionumbers) {
-                            $result{'__RAW__'}->{"$_"} =$existing_biblionumbers;
-                            my $weight=$1+1;
-                            $result{'__RAW__'}->{"$_"} =~ s/$biblionumber,$title\-(\d);//;
+                            $result{'__RAW__'}->{"$_"} = $existing_biblionumbers;
+                            my $weight = ( $1 ? $1 : 0 ) + 1;
+                            $result{'__RAW__'}->{"$_"} =~ s/$biblionumber,\Q$title\E\-(\d+);//;
                             $result{'__RAW__'}->{"$_"} .= "$biblionumber,$title-$weight;";
-                        # create a new ligne for this entry
+
+                            # create a new ligne for this entry
                         } else {
-                            $dbh->do('INSERT INTO nozebra SET server='.$dbh->quote($server).',  indexname="__RAW__",value='.$dbh->quote($_));
-                            $result{'__RAW__'}->{"$_"}.="$biblionumber,$title-1;";
+                            $dbh->do( 'INSERT INTO nozebra SET server=' . $dbh->quote($server) . ',  indexname="__RAW__",value=' . $dbh->quote($_) );
+                            $result{'__RAW__'}->{"$_"} .= "$biblionumber,$title-1;";
                         }
                     }
                 }
@@ -3212,81 +2771,9 @@ sub _AddBiblioNoZebra {
     return %result;
 }
 
-
-=head2 MARCitemchange
-
-=over 4
-
-&MARCitemchange( $record, $itemfield, $newvalue )
-
-Function to update a single value in an item field.
-Used twice, could probably be replaced by something else, but works well...
-
-=back
-
-=back
-
-=cut
-
-sub MARCitemchange {
-    my ( $record, $itemfield, $newvalue ) = @_;
-    my $dbh = C4::Context->dbh;
-    
-    my ( $tagfield, $tagsubfield ) =
-      GetMarcFromKohaField( $itemfield, "" );
-    if ( ($tagfield) && ($tagsubfield) ) {
-        my $tag = $record->field($tagfield);
-        if ($tag) {
-            $tag->update( $tagsubfield => $newvalue );
-            $record->delete_field($tag);
-            $record->insert_fields_ordered($tag);
-        }
-    }
-}
-
-=head2 _koha_add_biblio
-
-=over 4
-
-_koha_add_biblio($dbh,$biblioitem);
-
-Internal function to add a biblio ($biblio is a hash with the values)
-
-=back
-
-=cut
-
-sub _koha_add_biblio {
-    my ( $dbh, $biblio, $frameworkcode ) = @_;
-    my $sth = $dbh->prepare("Select max(biblionumber) from biblio");
-    $sth->execute;
-    my $data         = $sth->fetchrow_arrayref;
-    my $biblionumber = $$data[0] + 1;
-    my $series       = 0;
-
-    if ( $biblio->{'seriestitle'} ) { $series = 1 }
-    $sth->finish;
-    $sth = $dbh->prepare(
-        "INSERT INTO biblio
-    SET datecreated=NOW(), biblionumber  = ?, title = ?, author = ?, copyrightdate = ?, serial = ?, seriestitle = ?, notes = ?, abstract = ?, unititle = ?, frameworkcode = ? "
-    );
-    $sth->execute(
-        $biblionumber,         $biblio->{'title'},
-        $biblio->{'author'},   $biblio->{'copyrightdate'},
-        $biblio->{'serial'},   $biblio->{'seriestitle'},
-        $biblio->{'notes'},    $biblio->{'abstract'},
-        $biblio->{'unititle'}, $frameworkcode
-    );
-
-    $sth->finish;
-    return ($biblionumber);
-}
-
 =head2 _find_value
 
-=over 4
-
-($indicators, $value) = _find_value($tag, $subfield, $record,$encoding);
+  ($indicators, $value) = _find_value($tag, $subfield, $record,$encoding);
 
 Find the given $subfield in the given $tag in the given
 MARC::Record $record.  If the subfield is found, returns
@@ -3297,8 +2784,6 @@ PROPOSITION :
 Such a function is used in addbiblio AND additem and serial-edit and maybe could be used in Authorities.
 I suggest we export it from this module.
 
-=back
-
 =cut
 
 sub _find_value {
@@ -3308,12 +2793,10 @@ sub _find_value {
     if ( $tagfield < 10 ) {
         if ( $record->field($tagfield) ) {
             push @result, $record->field($tagfield)->data();
-        }
-        else {
+        } else {
             push @result, "";
         }
-    }
-    else {
+    } else {
         foreach my $field ( $record->field($tagfield) ) {
             my @subfields = $field->subfields();
             foreach my $subfield (@subfields) {
@@ -3327,383 +2810,334 @@ sub _find_value {
     return ( $indicator, @result );
 }
 
-=head2 _koha_modify_biblio
+=head2 _koha_marc_update_bib_ids
+
+
+  _koha_marc_update_bib_ids($record, $frameworkcode, $biblionumber, $biblioitemnumber);
+
+Internal function to add or update biblionumber and biblioitemnumber to
+the MARC XML.
+
+=cut
+
+sub _koha_marc_update_bib_ids {
+    my ( $record, $frameworkcode, $biblionumber, $biblioitemnumber ) = @_;
+
+    # we must add bibnum and bibitemnum in MARC::Record...
+    # we build the new field with biblionumber and biblioitemnumber
+    # we drop the original field
+    # we add the new builded field.
+    my ( $biblio_tag,     $biblio_subfield )     = GetMarcFromKohaField( "biblio.biblionumber",          $frameworkcode );
+    my ( $biblioitem_tag, $biblioitem_subfield ) = GetMarcFromKohaField( "biblioitems.biblioitemnumber", $frameworkcode );
+
+    if ( $biblio_tag != $biblioitem_tag ) {
+
+        # biblionumber & biblioitemnumber are in different fields
+
+        # deal with biblionumber
+        my ( $new_field, $old_field );
+        if ( $biblio_tag < 10 ) {
+            $new_field = MARC::Field->new( $biblio_tag, $biblionumber );
+        } else {
+            $new_field = MARC::Field->new( $biblio_tag, '', '', "$biblio_subfield" => $biblionumber );
+        }
+
+        # drop old field and create new one...
+        $old_field = $record->field($biblio_tag);
+        $record->delete_field($old_field) if $old_field;
+        $record->append_fields($new_field);
+
+        # deal with biblioitemnumber
+        if ( $biblioitem_tag < 10 ) {
+            $new_field = MARC::Field->new( $biblioitem_tag, $biblioitemnumber, );
+        } else {
+            $new_field = MARC::Field->new( $biblioitem_tag, '', '', "$biblioitem_subfield" => $biblioitemnumber, );
+        }
+
+        # drop old field and create new one...
+        $old_field = $record->field($biblioitem_tag);
+        $record->delete_field($old_field) if $old_field;
+        $record->insert_fields_ordered($new_field);
+
+    } else {
+
+        # biblionumber & biblioitemnumber are in the same field (can't be <10 as fields <10 have only 1 value)
+        my $new_field = MARC::Field->new(
+            $biblio_tag, '', '',
+            "$biblio_subfield"     => $biblionumber,
+            "$biblioitem_subfield" => $biblioitemnumber
+        );
+
+        # drop old field and create new one...
+        my $old_field = $record->field($biblio_tag);
+        $record->delete_field($old_field) if $old_field;
+        $record->insert_fields_ordered($new_field);
+    }
+}
 
-=over 4
+=head2 _koha_marc_update_biblioitem_cn_sort
 
-$biblionumber = _koha_modify_biblio($dbh,$biblio);
-Internal function for updating the biblio table
+  _koha_marc_update_biblioitem_cn_sort($marc, $biblioitem, $frameworkcode);
 
-=back
+Given a MARC bib record and the biblioitem hash, update the
+subfield that contains a copy of the value of biblioitems.cn_sort.
 
 =cut
 
-sub _koha_modify_biblio {
-    my ( $dbh, $biblio ) = @_;
-    # FIXME: this code could be made more portable by not hard-coding
-    #        the values that are supposed to be in biblio table
-    my $query = qq{
-        UPDATE biblio
-        SET    title = ?,
-               author = ?,
-               abstract = ?,
-               copyrightdate = ?,
-               seriestitle = ?,
-               serial = ?,
-               unititle = ?,
-               notes = ?
-        WHERE  biblionumber = ?
-    };
-    my $sth = $dbh->prepare($query);
-    
-    $sth->execute(
-        $biblio->{'title'},
-        $biblio->{'author'},
-        $biblio->{'abstract'},
-        $biblio->{'copyrightdate'},
-        $biblio->{'seriestitle'},
-        $biblio->{'serial'},
-        $biblio->{'unititle'},
-        $biblio->{'notes'},
-        $biblio->{'biblionumber'}
-    ) if $biblio->{'biblionumber'};
-    
-    warn $sth->err if $sth->err;
-    warn "BIG ERROR :: No biblionumber for $biblio->{title}" if $biblio->{biblionumber} !~ /\d+/; # if it is not a number
-    return ( $biblio->{'biblionumber'} );
-}
-
-=head2 _koha_modify_biblioitem
-
-=over 4
+sub _koha_marc_update_biblioitem_cn_sort {
+    my $marc          = shift;
+    my $biblioitem    = shift;
+    my $frameworkcode = shift;
 
-_koha_modify_biblioitem( $dbh, $biblioitem );
+    my ( $biblioitem_tag, $biblioitem_subfield ) = GetMarcFromKohaField( "biblioitems.cn_sort", $frameworkcode );
+    return unless $biblioitem_tag;
 
-=back
+    my ($cn_sort) = GetClassSort( $biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'}, $biblioitem->{'cn_item'} );
 
-=cut
+    if ( my $field = $marc->field($biblioitem_tag) ) {
+        $field->delete_subfield( code => $biblioitem_subfield );
+        if ( $cn_sort ne '' ) {
+            $field->add_subfields( $biblioitem_subfield => $cn_sort );
+        }
+    } else {
 
-sub _koha_modify_biblioitem {
-    my ( $dbh, $biblioitem ) = @_;
-    my $query;
-##Recalculate LC in case it changed --TG
-
-    $biblioitem->{'itemtype'}      = $dbh->quote( $biblioitem->{'itemtype'} );
-    $biblioitem->{'url'}           = $dbh->quote( $biblioitem->{'url'} );
-    $biblioitem->{'isbn'}          = $dbh->quote( $biblioitem->{'isbn'} );
-    $biblioitem->{'issn'}          = $dbh->quote( $biblioitem->{'issn'} );
-    $biblioitem->{'publishercode'} =
-      $dbh->quote( $biblioitem->{'publishercode'} );
-    $biblioitem->{'publicationyear'} =
-      $dbh->quote( $biblioitem->{'publicationyear'} );
-    $biblioitem->{'classification'} =
-      $dbh->quote( $biblioitem->{'classification'} );
-    $biblioitem->{'dewey'}        = $dbh->quote( $biblioitem->{'dewey'} );
-    $biblioitem->{'subclass'}     = $dbh->quote( $biblioitem->{'subclass'} );
-    $biblioitem->{'illus'}        = $dbh->quote( $biblioitem->{'illus'} );
-    $biblioitem->{'pages'}        = $dbh->quote( $biblioitem->{'pages'} );
-    $biblioitem->{'volumeddesc'}  = $dbh->quote( $biblioitem->{'volumeddesc'} );
-    $biblioitem->{'bnotes'}       = $dbh->quote( $biblioitem->{'bnotes'} );
-    $biblioitem->{'size'}         = $dbh->quote( $biblioitem->{'size'} );
-    $biblioitem->{'place'}        = $dbh->quote( $biblioitem->{'place'} );
-    $biblioitem->{'collectiontitle'}        = $dbh->quote( $biblioitem->{'collectiontitle'} );
-    $biblioitem->{'collectionissn'}         = $dbh->quote( $biblioitem->{'collectionissn'} );
-    $biblioitem->{'collectionvolume'}       = $dbh->quote( $biblioitem->{'collectionvolume'} );
-    $biblioitem->{'editionstatement'}       = $dbh->quote( $biblioitem->{'editionstatement'} );
-    $biblioitem->{'editionresponsibility'}  = $dbh->quote( $biblioitem->{'editionresponsibility'} );
-    $biblioitem->{'ccode'}        = $dbh->quote( $biblioitem->{'ccode'} );
-    $biblioitem->{'biblionumber'} =
-      $dbh->quote( $biblioitem->{'biblionumber'} );
-
-    $query = "UPDATE biblioitems SET
-        itemtype        = $biblioitem->{'itemtype'},
-        url             = $biblioitem->{'url'},
-        isbn            = $biblioitem->{'isbn'},
-        issn            = $biblioitem->{'issn'},
-        publishercode   = $biblioitem->{'publishercode'},
-        publicationyear = $biblioitem->{'publicationyear'},
-        classification  = $biblioitem->{'classification'},
-        dewey           = $biblioitem->{'dewey'},
-        subclass        = $biblioitem->{'subclass'},
-        illus           = $biblioitem->{'illus'},
-        pages           = $biblioitem->{'pages'},
-        volumeddesc     = $biblioitem->{'volumeddesc'},
-        notes           = $biblioitem->{'bnotes'},
-        size            = $biblioitem->{'size'},
-        place           = $biblioitem->{'place'},
-        collectiontitle = $biblioitem->{'collectiontitle'},
-        collectionissn  = $biblioitem->{'collectionissn'},
-        collectionvolume= $biblioitem->{'collectionvolume'},
-        editionstatement= $biblioitem->{'editionstatement'},
-        editionresponsibility= $biblioitem->{'editionresponsibility'},
-        ccode           = $biblioitem->{'ccode'}
-        where biblionumber = $biblioitem->{'biblionumber'}";
-
-    $dbh->do($query);
-    if ( $dbh->errstr ) {
-        warn "ERROR in _koha_modify_biblioitem $query";
+        # if we get here, no biblioitem tag is present in the MARC record, so
+        # we'll create it if $cn_sort is not empty -- this would be
+        # an odd combination of events, however
+        if ($cn_sort) {
+            $marc->insert_grouped_field( MARC::Field->new( $biblioitem_tag, ' ', ' ', $biblioitem_subfield => $cn_sort ) );
+        }
     }
 }
 
-=head2 _koha_add_biblioitem
-
-=over 4
-
-_koha_add_biblioitem( $dbh, $biblioitem );
+=head2 _koha_add_biblio
 
-Internal function to add a biblioitem
+  my ($biblionumber,$error) = _koha_add_biblio($dbh,$biblioitem);
 
-=back
+Internal function to add a biblio ($biblio is a hash with the values)
 
 =cut
 
-sub _koha_add_biblioitem {
-    my ( $dbh, $biblioitem ) = @_;
+sub _koha_add_biblio {
+    my ( $dbh, $biblio, $frameworkcode ) = @_;
 
-    #  my $dbh   = C4Connect;
-    my $sth = $dbh->prepare("SELECT max(biblioitemnumber) FROM biblioitems");
-    my $data;
-    my $bibitemnum;
+    my $error;
+
+    # set the series flag
+    unless (defined $biblio->{'serial'}){
+       $biblio->{'serial'} = 0;
+       if ( $biblio->{'seriestitle'} ) { $biblio->{'serial'} = 1 }
+    }
+
+    my $query = "INSERT INTO biblio
+        SET frameworkcode = ?,
+            author = ?,
+            title = ?,
+            unititle =?,
+            notes = ?,
+            serial = ?,
+            seriestitle = ?,
+            copyrightdate = ?,
+            datecreated=NOW(),
+            abstract = ?
+        ";
+    my $sth = $dbh->prepare($query);
+    $sth->execute(
+        $frameworkcode, $biblio->{'author'},      $biblio->{'title'},         $biblio->{'unititle'}, $biblio->{'notes'},
+        $biblio->{'serial'},        $biblio->{'seriestitle'}, $biblio->{'copyrightdate'}, $biblio->{'abstract'}
+    );
 
-    $sth->execute;
-    $data       = $sth->fetchrow_arrayref;
-    $bibitemnum = $$data[0] + 1;
+    my $biblionumber = $dbh->{'mysql_insertid'};
+    if ( $dbh->errstr ) {
+        $error .= "ERROR in _koha_add_biblio $query" . $dbh->errstr;
+        warn $error;
+    }
 
-    $sth->finish;
+    $sth->finish();
 
-    $sth = $dbh->prepare(
-        "INSERT INTO biblioitems SET
-            biblioitemnumber = ?, biblionumber    = ?,
-            volume           = ?, number          = ?,
-            classification   = ?, itemtype        = ?,
-            url              = ?, isbn            = ?,
-            issn             = ?, dewey           = ?,
-            subclass         = ?, publicationyear = ?,
-            publishercode    = ?, volumedate      = ?,
-            volumeddesc      = ?, illus           = ?,
-            pages            = ?, notes           = ?,
-            size             = ?, lccn            = ?,
-            marc             = ?, lcsort          = ?,
-            place            = ?, ccode           = ?,
-            collectiontitle  = ?, collectionissn  = ?,
-            collectionvolume = ?, editionstatement= ?,
-            editionresponsibility= ?
-          "
-    );
-    my ($lcsort) =
-      calculatelc( $biblioitem->{'classification'} )
-      . $biblioitem->{'subclass'};
-    $sth->execute(
-        $bibitemnum,                     $biblioitem->{'biblionumber'},
-        $biblioitem->{'volume'},         $biblioitem->{'number'},
-        $biblioitem->{'classification'}, $biblioitem->{'itemtype'},
-        $biblioitem->{'url'},            $biblioitem->{'isbn'},
-        $biblioitem->{'issn'},           $biblioitem->{'dewey'},
-        $biblioitem->{'subclass'},       $biblioitem->{'publicationyear'},
-        $biblioitem->{'publishercode'},  $biblioitem->{'volumedate'},
-        $biblioitem->{'volumeddesc'},    $biblioitem->{'illus'},
-        $biblioitem->{'pages'},          $biblioitem->{'bnotes'},
-        $biblioitem->{'size'},           $biblioitem->{'lccn'},
-        $biblioitem->{'marc'},           $biblioitem->{'place'},
-        $lcsort,                         $biblioitem->{'ccode'},
-        $biblioitem->{'collectiontitle'},$biblioitem->{'collectionissn'},
-        $biblioitem->{'collectionvolume'},$biblioitem->{'editionstatement'},
-        $biblioitem->{'editionresponsibility'}
-    );
-    $sth->finish;
-    return ($bibitemnum);
+    #warn "LEAVING _koha_add_biblio: ".$biblionumber."\n";
+    return ( $biblionumber, $error );
 }
 
-=head2 _koha_new_items
-
-=over 4
+=head2 _koha_modify_biblio
 
-_koha_new_items( $dbh, $item, $barcode );
+  my ($biblionumber,$error) == _koha_modify_biblio($dbh,$biblio,$frameworkcode);
 
-=back
+Internal function for updating the biblio table
 
 =cut
 
-sub _koha_new_items {
-    my ( $dbh, $item, $barcode ) = @_;
+sub _koha_modify_biblio {
+    my ( $dbh, $biblio, $frameworkcode ) = @_;
+    my $error;
 
-    #  my $dbh   = C4Connect;
-    my $sth = $dbh->prepare("Select max(itemnumber) from items");
-    my $data;
-    my $itemnumber;
-    my $error = "";
+    my $query = "
+        UPDATE biblio
+        SET    frameworkcode = ?,
+               author = ?,
+               title = ?,
+               unititle = ?,
+               notes = ?,
+               serial = ?,
+               seriestitle = ?,
+               copyrightdate = ?,
+               abstract = ?
+        WHERE  biblionumber = ?
+        "
+      ;
+    my $sth = $dbh->prepare($query);
 
-    $sth->execute;
-    $data       = $sth->fetchrow_hashref;
-    $itemnumber = $data->{'max(itemnumber)'} + 1;
-    $sth->finish;
-## Now calculate lccalnumber
-    my ($cutterextra) = itemcalculator(
-        $dbh,
-        $item->{'biblioitemnumber'},
-        $item->{'itemcallnumber'}
-    );
+    $sth->execute(
+        $frameworkcode,      $biblio->{'author'},      $biblio->{'title'},         $biblio->{'unititle'}, $biblio->{'notes'},
+        $biblio->{'serial'}, $biblio->{'seriestitle'}, $biblio->{'copyrightdate'}, $biblio->{'abstract'}, $biblio->{'biblionumber'}
+    ) if $biblio->{'biblionumber'};
 
-# FIXME the "notforloan" field seems to be named "loan" in some places. workaround bugfix.
-    if ( $item->{'loan'} ) {
-        $item->{'notforloan'} = $item->{'loan'};
+    if ( $dbh->errstr || !$biblio->{'biblionumber'} ) {
+        $error .= "ERROR in _koha_modify_biblio $query" . $dbh->errstr;
+        warn $error;
     }
+    return ( $biblio->{'biblionumber'}, $error );
+}
 
-    # if dateaccessioned is provided, use it. Otherwise, set to NOW()
-    if ( $item->{'dateaccessioned'} eq '' || !$item->{'dateaccessioned'} ) {
+=head2 _koha_modify_biblioitem_nonmarc
 
-        $sth = $dbh->prepare(
-            "Insert into items set
-            itemnumber           = ?,     biblionumber     = ?,
-            biblioitemnumber     = ?,     barcode          = ?,
-            booksellerid         = ?,     dateaccessioned  = NOW(),
-            homebranch           = ?,     holdingbranch    = ?,
-            price                = ?,     replacementprice = ?,
-            replacementpricedate = NOW(), datelastseen     = NOW(),
-                       stack            = ?,
-            itemlost             = ?,     wthdrawn         = ?,
-            paidfor              = ?,     itemnotes        = ?,
-            itemcallnumber       =?,      notforloan       = ?,
-            location             = ?,     Cutterextra      = ?
-          "
-        );
-        $sth->execute(
-            $itemnumber,                $item->{'biblionumber'},
-                       $item->{'biblioitemnumber'},
-            $barcode,                   $item->{'booksellerid'},
-            $item->{'homebranch'},      $item->{'holdingbranch'},
-            $item->{'price'},           $item->{'replacementprice'},
-                       $item->{stack},
-            $item->{itemlost},          $item->{wthdrawn},
-            $item->{paidfor},           $item->{'itemnotes'},
-            $item->{'itemcallnumber'},  $item->{'notforloan'},
-            $item->{'location'},        $cutterextra
-        );
-    }
-    else {
-        $sth = $dbh->prepare(
-            "INSERT INTO items SET
-            itemnumber           = ?,     biblionumber     = ?,
-            biblioitemnumber     = ?,     barcode          = ?,
-            booksellerid         = ?,     dateaccessioned  = ?,
-            homebranch           = ?,     holdingbranch    = ?,
-            price                = ?,     replacementprice = ?,
-            replacementpricedate = NOW(), datelastseen     = NOW(),
-                       stack            = ?,
-            itemlost             = ?,     wthdrawn         = ?,
-            paidfor              = ?,     itemnotes        = ?,
-            itemcallnumber       = ?,     notforloan       = ?,
-            location             = ?,
-            Cutterextra          = ?
-                            "
-        );
-        $sth->execute(
-            $itemnumber,                 $item->{'biblionumber'},
-                       $item->{'biblioitemnumber'},
-            $barcode,                    $item->{'booksellerid'},
-            $item->{'dateaccessioned'},  $item->{'homebranch'},
-            $item->{'holdingbranch'},    $item->{'price'},
-            $item->{'replacementprice'},
-            $item->{stack},              $item->{itemlost},
-            $item->{wthdrawn},           $item->{paidfor},
-            $item->{'itemnotes'},        $item->{'itemcallnumber'},
-            $item->{'notforloan'},       $item->{'location'},
-            $cutterextra
-        );
-    }
-    if ( defined $sth->errstr ) {
-        $error .= $sth->errstr;
+  my ($biblioitemnumber,$error) = _koha_modify_biblioitem_nonmarc( $dbh, $biblioitem );
+
+Updates biblioitems row except for marc and marcxml, which should be changed
+via ModBiblioMarc
+
+=cut
+
+sub _koha_modify_biblioitem_nonmarc {
+    my ( $dbh, $biblioitem ) = @_;
+    my $error;
+
+    # re-calculate the cn_sort, it may have changed
+    my ($cn_sort) = GetClassSort( $biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'}, $biblioitem->{'cn_item'} );
+
+    my $query = "UPDATE biblioitems 
+    SET biblionumber    = ?,
+        volume          = ?,
+        number          = ?,
+        itemtype        = ?,
+        isbn            = ?,
+        issn            = ?,
+        publicationyear = ?,
+        publishercode   = ?,
+        volumedate      = ?,
+        volumedesc      = ?,
+        collectiontitle = ?,
+        collectionissn  = ?,
+        collectionvolume= ?,
+        editionstatement= ?,
+        editionresponsibility = ?,
+        illus           = ?,
+        pages           = ?,
+        notes           = ?,
+        size            = ?,
+        place           = ?,
+        lccn            = ?,
+        url             = ?,
+        cn_source       = ?,
+        cn_class        = ?,
+        cn_item         = ?,
+        cn_suffix       = ?,
+        cn_sort         = ?,
+        totalissues     = ?
+        where biblioitemnumber = ?
+        ";
+    my $sth = $dbh->prepare($query);
+    $sth->execute(
+        $biblioitem->{'biblionumber'},     $biblioitem->{'volume'},           $biblioitem->{'number'},                $biblioitem->{'itemtype'},
+        $biblioitem->{'isbn'},             $biblioitem->{'issn'},             $biblioitem->{'publicationyear'},       $biblioitem->{'publishercode'},
+        $biblioitem->{'volumedate'},       $biblioitem->{'volumedesc'},       $biblioitem->{'collectiontitle'},       $biblioitem->{'collectionissn'},
+        $biblioitem->{'collectionvolume'}, $biblioitem->{'editionstatement'}, $biblioitem->{'editionresponsibility'}, $biblioitem->{'illus'},
+        $biblioitem->{'pages'},            $biblioitem->{'bnotes'},           $biblioitem->{'size'},                  $biblioitem->{'place'},
+        $biblioitem->{'lccn'},             $biblioitem->{'url'},              $biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'},
+        $biblioitem->{'cn_item'},          $biblioitem->{'cn_suffix'},        $cn_sort,                               $biblioitem->{'totalissues'},
+        $biblioitem->{'biblioitemnumber'}
+    );
+    if ( $dbh->errstr ) {
+        $error .= "ERROR in _koha_modify_biblioitem_nonmarc $query" . $dbh->errstr;
+        warn $error;
     }
-    return ( $itemnumber, $error );
+    return ( $biblioitem->{'biblioitemnumber'}, $error );
 }
 
-=head2 _koha_modify_item
-
-=over 4
+=head2 _koha_add_biblioitem
 
-_koha_modify_item( $dbh, $item, $op );
+  my ($biblioitemnumber,$error) = _koha_add_biblioitem( $dbh, $biblioitem );
 
-=back
+Internal function to add a biblioitem
 
 =cut
 
-sub _koha_modify_item {
-    my ( $dbh, $item, $op ) = @_;
-    $item->{'itemnum'} = $item->{'itemnumber'} unless $item->{'itemnum'};
-
-    # if all we're doing is setting statuses, just update those and get out
-    if ( $op eq "setstatus" ) {
-        my $query =
-          "UPDATE items SET itemlost=?,wthdrawn=? WHERE itemnumber=?";
-        my @bind = (
-            $item->{'itemlost'}, $item->{'wthdrawn'},
-                       $item->{'itemnumber'}
-        );
-        my $sth = $dbh->prepare($query);
-        $sth->execute(@bind);
-        $sth->finish;
-        return undef;
-    }
-## Now calculate lccalnumber
-    my ($cutterextra) =
-      itemcalculator( $dbh, $item->{'bibitemnum'}, $item->{'itemcallnumber'} );
-
-    my $query = "UPDATE items SET
-barcode=?,itemnotes=?,itemcallnumber=?,notforloan=?,location=?,stack=?,wthdrawn=?,holdingbranch=?,homebranch=?,cutterextra=?, onloan=?";
-
-    my @bind = (
-        $item->{'barcode'},        $item->{'notes'},
-        $item->{'itemcallnumber'}, $item->{'notforloan'},
-        $item->{'location'},       $item->{stack},
-        $item->{wthdrawn},         $item->{holdingbranch},
-        $item->{homebranch},       $cutterextra,
-        $item->{onloan},           
+sub _koha_add_biblioitem {
+    my ( $dbh, $biblioitem ) = @_;
+    my $error;
+
+    my ($cn_sort) = GetClassSort( $biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'}, $biblioitem->{'cn_item'} );
+    my $query = "INSERT INTO biblioitems SET
+        biblionumber    = ?,
+        volume          = ?,
+        number          = ?,
+        itemtype        = ?,
+        isbn            = ?,
+        issn            = ?,
+        publicationyear = ?,
+        publishercode   = ?,
+        volumedate      = ?,
+        volumedesc      = ?,
+        collectiontitle = ?,
+        collectionissn  = ?,
+        collectionvolume= ?,
+        editionstatement= ?,
+        editionresponsibility = ?,
+        illus           = ?,
+        pages           = ?,
+        notes           = ?,
+        size            = ?,
+        place           = ?,
+        lccn            = ?,
+        marc            = ?,
+        url             = ?,
+        cn_source       = ?,
+        cn_class        = ?,
+        cn_item         = ?,
+        cn_suffix       = ?,
+        cn_sort         = ?,
+        totalissues     = ?
+        ";
+    my $sth = $dbh->prepare($query);
+    $sth->execute(
+        $biblioitem->{'biblionumber'},     $biblioitem->{'volume'},           $biblioitem->{'number'},                $biblioitem->{'itemtype'},
+        $biblioitem->{'isbn'},             $biblioitem->{'issn'},             $biblioitem->{'publicationyear'},       $biblioitem->{'publishercode'},
+        $biblioitem->{'volumedate'},       $biblioitem->{'volumedesc'},       $biblioitem->{'collectiontitle'},       $biblioitem->{'collectionissn'},
+        $biblioitem->{'collectionvolume'}, $biblioitem->{'editionstatement'}, $biblioitem->{'editionresponsibility'}, $biblioitem->{'illus'},
+        $biblioitem->{'pages'},            $biblioitem->{'bnotes'},           $biblioitem->{'size'},                  $biblioitem->{'place'},
+        $biblioitem->{'lccn'},             $biblioitem->{'marc'},             $biblioitem->{'url'},                   $biblioitem->{'biblioitems.cn_source'},
+        $biblioitem->{'cn_class'},         $biblioitem->{'cn_item'},          $biblioitem->{'cn_suffix'},             $cn_sort,
+        $biblioitem->{'totalissues'}
     );
-    if ( $item->{'lost'} ne '' ) {
-        $query =
-"update items set biblioitemnumber=?,barcode=?,itemnotes=?,homebranch=?,
-                            itemlost=?,wthdrawn=?,itemcallnumber=?,notforloan=?,
-                             location=?,stack=?,wthdrawn=?,holdingbranch=?,cutterextra=?,onloan=?";
-        @bind = (
-            $item->{'bibitemnum'},     $item->{'barcode'},
-            $item->{'notes'},          $item->{'homebranch'},
-            $item->{'lost'},           $item->{'wthdrawn'},
-            $item->{'itemcallnumber'}, $item->{'notforloan'},
-            $item->{'location'},       $item->{stack},
-            $item->{wthdrawn},         $item->{holdingbranch},
-            $cutterextra,              $item->{onloan}
-        );
-        if ( $item->{homebranch} ) {
-            $query .= ",homebranch=?";
-            push @bind, $item->{homebranch};
-        }
-        if ( $item->{holdingbranch} ) {
-            $query .= ",holdingbranch=?";
-            push @bind, $item->{holdingbranch};
-        }
-    }
-    $query .= " where itemnumber=?";
-    push @bind, $item->{'itemnum'};
-    if ( $item->{'replacement'} ne '' ) {
-        $query =~ s/ where/,replacementprice='$item->{'replacement'}' where/;
+    my $bibitemnum = $dbh->{'mysql_insertid'};
+
+    if ( $dbh->errstr ) {
+        $error .= "ERROR in _koha_add_biblioitem $query" . $dbh->errstr;
+        warn $error;
     }
-    my $sth = $dbh->prepare($query);
-    $sth->execute(@bind);
-    $sth->finish;
+    $sth->finish();
+    return ( $bibitemnum, $error );
 }
 
 =head2 _koha_delete_biblio
 
-=over 4
-
-$error = _koha_delete_biblio($dbh,$biblionumber);
+  $error = _koha_delete_biblio($dbh,$biblionumber);
 
 Internal sub for deleting from biblio table -- also saves to deletedbiblio
 
 C<$dbh> - the database handle
-C<$biblionumber> - the biblionumber of the biblio to be deleted
 
-=back
+C<$biblionumber> - the biblionumber of the biblio to be deleted
 
 =cut
 
@@ -3744,17 +3178,13 @@ sub _koha_delete_biblio {
 
 =head2 _koha_delete_biblioitems
 
-=over 4
-
-$error = _koha_delete_biblioitems($dbh,$biblioitemnumber);
+  $error = _koha_delete_biblioitems($dbh,$biblioitemnumber);
 
 Internal sub for deleting from biblioitems table -- also saves to deletedbiblioitems
 
 C<$dbh> - the database handle
 C<$biblionumber> - the biblioitemnumber of the biblioitem to be deleted
 
-=back
-
 =cut
 
 # FIXME: add error handling
@@ -3763,8 +3193,7 @@ sub _koha_delete_biblioitems {
     my ( $dbh, $biblioitemnumber ) = @_;
 
     # get all the data for this biblioitem
-    my $sth =
-      $dbh->prepare("SELECT * FROM biblioitems WHERE biblioitemnumber=?");
+    my $sth = $dbh->prepare("SELECT * FROM biblioitems WHERE biblioitemnumber=?");
     $sth->execute($biblioitemnumber);
 
     if ( my $data = $sth->fetchrow_hashref ) {
@@ -3785,8 +3214,7 @@ sub _koha_delete_biblioitems {
         $bkup_sth->finish;
 
         # delete the biblioitem
-        my $del_sth =
-          $dbh->prepare("DELETE FROM biblioitems WHERE biblioitemnumber=?");
+        my $del_sth = $dbh->prepare("DELETE FROM biblioitems WHERE biblioitemnumber=?");
         $del_sth->execute($biblioitemnumber);
         $del_sth->finish;
     }
@@ -3794,239 +3222,94 @@ sub _koha_delete_biblioitems {
     return undef;
 }
 
-=head2 _koha_delete_item
-
-=over 4
-
-_koha_delete_item( $dbh, $itemnum );
-
-Internal function to delete an item record from the koha tables
-
-=back
-
-=cut
-
-sub _koha_delete_item {
-    my ( $dbh, $itemnum ) = @_;
-
-    my $sth = $dbh->prepare("select * from items where itemnumber=?");
-    $sth->execute($itemnum);
-    my $data = $sth->fetchrow_hashref;
-    $sth->finish;
-    my $query = "Insert into deleteditems set ";
-    my @bind  = ();
-    foreach my $temp ( keys %$data ) {
-        $query .= "$temp = ?,";
-        push( @bind, $data->{$temp} );
-    }
-    $query =~ s/\,$//;
-
-    #  print $query;
-    $sth = $dbh->prepare($query);
-    $sth->execute(@bind);
-    $sth->finish;
-    $sth = $dbh->prepare("Delete from items where itemnumber=?");
-    $sth->execute($itemnum);
-    $sth->finish;
-}
-
 =head1 UNEXPORTED FUNCTIONS
 
-=over 4
-
-=head2 calculatelc
-
-$lc = calculatelc($classification);
-
-=back
-
-=cut
-
-sub calculatelc {
-    my ($classification) = @_;
-    $classification =~ s/^\s+|\s+$//g;
-    my $i = 0;
-    my $lc2;
-    my $lc1;
-
-    for ( $i = 0 ; $i < length($classification) ; $i++ ) {
-        my $c = ( substr( $classification, $i, 1 ) );
-        if ( $c ge '0' && $c le '9' ) {
-
-            $lc2 = substr( $classification, $i );
-            last;
-        }
-        else {
-            $lc1 .= substr( $classification, $i, 1 );
-
-        }
-    }    #while
-
-    my $other = length($lc1);
-    if ( !$lc1 ) {
-        $other = 0;
-    }
-
-    my $extras;
-    if ( $other < 4 ) {
-        for ( 1 .. ( 4 - $other ) ) {
-            $extras .= "0";
-        }
-    }
-    $lc1 .= $extras;
-    $lc2 =~ s/^ //g;
-
-    $lc2 =~ s/ //g;
-    $extras = "";
-    ##Find the decimal part of $lc2
-    my $pos = index( $lc2, "." );
-    if ( $pos < 0 ) { $pos = length($lc2); }
-    if ( $pos >= 0 && $pos < 5 ) {
-        ##Pad lc2 with zeros to create a 5digit decimal needed in marc record to sort as numeric
-
-        for ( 1 .. ( 5 - $pos ) ) {
-            $extras .= "0";
-        }
-    }
-    $lc2 = $extras . $lc2;
-    return ( $lc1 . $lc2 );
-}
-
-=head2 itemcalculator
-
-=over 4
-
-$cutterextra = itemcalculator( $dbh, $biblioitem, $callnumber );
-
-=back
-
-=cut
-
-sub itemcalculator {
-    my ( $dbh, $biblioitem, $callnumber ) = @_;
-    my $sth =
-      $dbh->prepare(
-"select classification, subclass from biblioitems where biblioitemnumber=?"
-      );
-
-    $sth->execute($biblioitem);
-    my ( $classification, $subclass ) = $sth->fetchrow;
-    my $all         = $classification . " " . $subclass;
-    my $total       = length($all);
-    my $cutterextra = substr( $callnumber, $total - 1 );
+=head2 ModBiblioMarc
 
-    return $cutterextra;
-}
+  &ModBiblioMarc($newrec,$biblionumber,$frameworkcode);
 
-=head2 ModBiblioMarc
+Add MARC data for a biblio to koha 
 
-    &ModBiblioMarc($newrec,$biblionumber,$frameworkcode);
-    
-    Add MARC data for a biblio to koha 
-    
-    Function exported, but should NOT be used, unless you really know what you're doing
+Function exported, but should NOT be used, unless you really know what you're doing
 
 =cut
 
 sub ModBiblioMarc {
-    
-# pass the MARC::Record to this function, and it will create the records in the marc field
+
+    # pass the MARC::Record to this function, and it will create the records in the marc field
     my ( $record, $biblionumber, $frameworkcode ) = @_;
-    my $dbh = C4::Context->dbh;
+    my $dbh    = C4::Context->dbh;
     my @fields = $record->fields();
     if ( !$frameworkcode ) {
         $frameworkcode = "";
     }
-    my $sth =
-      $dbh->prepare("UPDATE biblio SET frameworkcode=? WHERE biblionumber=?");
+    my $sth = $dbh->prepare("UPDATE biblio SET frameworkcode=? WHERE biblionumber=?");
     $sth->execute( $frameworkcode, $biblionumber );
     $sth->finish;
     my $encoding = C4::Context->preference("marcflavour");
 
     # deal with UNIMARC field 100 (encoding) : create it if needed & set encoding to unicode
     if ( $encoding eq "UNIMARC" ) {
-        my $string;
-        if ( length($record->subfield( 100, "a" )) == 35 ) {
-            $string = $record->subfield( 100, "a" );
+        my $string = $record->subfield( 100, "a" );
+        if ( ($string) && ( length( $record->subfield( 100, "a" ) ) == 36 ) ) {
             my $f100 = $record->field(100);
             $record->delete_field($f100);
-        }
-        else {
+        } else {
             $string = POSIX::strftime( "%Y%m%d", localtime );
             $string =~ s/\-//g;
             $string = sprintf( "%-*s", 35, $string );
         }
         substr( $string, 22, 6, "frey50" );
         unless ( $record->subfield( 100, "a" ) ) {
-            $record->insert_grouped_field(
-                MARC::Field->new( 100, "", "", "a" => $string ) );
+            $record->insert_grouped_field( MARC::Field->new( 100, "", "", "a" => $string ) );
         }
     }
-    ModZebra($biblionumber,"specialUpdate","biblioserver",$record);
-    $sth =
-      $dbh->prepare(
-        "update biblioitems set marc=?,marcxml=?  where biblionumber=?");
-    $sth->execute( $record->as_usmarc(), $record->as_xml_record($encoding),
-        $biblionumber );
-    $sth->finish;
-    return $biblionumber;
-}
-
-=head2 AddItemInMarc
-
-=over 4
-
-$newbiblionumber = AddItemInMarc( $record, $biblionumber, $frameworkcode );
 
-Add an item in a MARC record and save the MARC record
-
-Function exported, but should NOT be used, unless you really know what you're doing
-
-=back
-
-=cut
-
-sub AddItemInMarc {
+    #enhancement 5374: update transaction date (005) for marc21/unimarc
+    if($encoding =~ /MARC21|UNIMARC/) {
+      my @a= (localtime) [5,4,3,2,1,0]; $a[0]+=1900; $a[1]++;
+        # YY MM DD HH MM SS (update year and month)
+      my $f005= $record->field('005');
+      $f005->update(sprintf("%4d%02d%02d%02d%02d%04.1f",@a)) if $f005;
+    }
 
-    # pass the MARC::Record to this function, and it will create the records in the marc tables
-    my ( $record, $biblionumber, $frameworkcode ) = @_;
-    my $newrec = &GetMarcBiblio($biblionumber);
+    my $oldRecord;
+    if ( C4::Context->preference("NoZebra") ) {
 
-    # create it
-    my @fields = $record->fields();
-    foreach my $field (@fields) {
-        $newrec->append_fields($field);
+        # only NoZebra indexing needs to have
+        # the previous version of the record
+        $oldRecord = GetMarcBiblio($biblionumber);
     }
-
-    # FIXME: should we be making sure the biblionumbers are the same?
-    my $newbiblionumber =
-      &ModBiblioMarc( $newrec, $biblionumber, $frameworkcode );
-    return $newbiblionumber;
+    $sth = $dbh->prepare("UPDATE biblioitems SET marc=?,marcxml=? WHERE biblionumber=?");
+    $sth->execute( $record->as_usmarc(), $record->as_xml_record($encoding), $biblionumber );
+    $sth->finish;
+    ModZebra( $biblionumber, "specialUpdate", "biblioserver", $oldRecord, $record );
+    return $biblionumber;
 }
 
 =head2 z3950_extended_services
 
-z3950_extended_services($serviceType,$serviceOptions,$record);
+  z3950_extended_services($serviceType,$serviceOptions,$record);
 
-    z3950_extended_services is used to handle all interactions with Zebra's extended serices package, which is employed to perform all management of the MARC data stored in Zebra.
+z3950_extended_services is used to handle all interactions with Zebra's extended serices package, which is employed to perform all management of the MARC data stored in Zebra.
 
 C<$serviceType> one of: itemorder,create,drop,commit,update,xmlupdate
 
 C<$serviceOptions> a has of key/value pairs. For instance, if service_type is 'update', $service_options should contain:
 
   action => update action, one of specialUpdate, recordInsert, recordReplace, recordDelete, elementUpdate.
+ action => update action, one of specialUpdate, recordInsert, recordReplace, recordDelete, elementUpdate.
 
 and maybe
 
-    recordidOpaque => Opaque Record ID (user supplied) or recordidNumber => Record ID number (system number).
-    syntax => the record syntax (transfer syntax)
-    databaseName = Database from connection object
+  recordidOpaque => Opaque Record ID (user supplied) or recordidNumber => Record ID number (system number).
+  syntax => the record syntax (transfer syntax)
+  databaseName = Database from connection object
 
-    To set serviceOptions, call set_service_options($serviceType)
+To set serviceOptions, call set_service_options($serviceType)
 
 C<$record> the record, if one is needed for the service type
 
-    A record should be in XML. You can convert it to XML from MARC by running it through marc2xml().
+A record should be in XML. You can convert it to XML from MARC by running it through marc2xml().
 
 =cut
 
@@ -4046,21 +3329,19 @@ sub z3950_extended_services {
         $Zpackage->option( databaseName => $serviceOptions->{'databaseName'} );
     }
     if ( $serviceOptions->{'recordIdNumber'} ) {
-        $Zpackage->option(
-            recordIdNumber => $serviceOptions->{'recordIdNumber'} );
+        $Zpackage->option( recordIdNumber => $serviceOptions->{'recordIdNumber'} );
     }
     if ( $serviceOptions->{'recordIdOpaque'} ) {
-        $Zpackage->option(
-            recordIdOpaque => $serviceOptions->{'recordIdOpaque'} );
+        $Zpackage->option( recordIdOpaque => $serviceOptions->{'recordIdOpaque'} );
     }
 
- # this is an ILL request (Zebra doesn't support it, but Koha could eventually)
- #if ($serviceType eq 'itemorder') {
- #   $Zpackage->option('contact-name' => $serviceOptions->{'contact-name'});
- #   $Zpackage->option('contact-phone' => $serviceOptions->{'contact-phone'});
- #   $Zpackage->option('contact-email' => $serviceOptions->{'contact-email'});
- #   $Zpackage->option('itemorder-item' => $serviceOptions->{'itemorder-item'});
- #}
   # this is an ILL request (Zebra doesn't support it, but Koha could eventually)
   #if ($serviceType eq 'itemorder') {
   #   $Zpackage->option('contact-name' => $serviceOptions->{'contact-name'});
   #   $Zpackage->option('contact-phone' => $serviceOptions->{'contact-phone'});
   #   $Zpackage->option('contact-email' => $serviceOptions->{'contact-email'});
   #   $Zpackage->option('itemorder-item' => $serviceOptions->{'itemorder-item'});
   #}
 
     if ( $serviceOptions->{record} ) {
         $Zpackage->option( record => $serviceOptions->{record} );
@@ -4083,7 +3364,7 @@ sub z3950_extended_services {
 
 =head2 set_service_options
 
-my $serviceOptions = set_service_options($serviceType);
+  my $serviceOptions = set_service_options($serviceType);
 
 C<$serviceType> itemorder,create,drop,commit,update,xmlupdate
 
@@ -4095,8 +3376,8 @@ sub set_service_options {
     my ($serviceType) = @_;
     my $serviceOptions;
 
-# FIXME: This needs to be an OID ... if we ever need 'syntax' this sub will need to change
-#   $serviceOptions->{ 'syntax' } = ''; #zebra doesn't support syntaxes other than xml
+    # FIXME: This needs to be an OID ... if we ever need 'syntax' this sub will need to change
+    #   $serviceOptions->{ 'syntax' } = ''; #zebra doesn't support syntaxes other than xml
 
     if ( $serviceType eq 'commit' ) {
 
@@ -4112,26 +3393,67 @@ sub set_service_options {
     return $serviceOptions;
 }
 
-=head2 GetItemsCount
+=head2 get_biblio_authorised_values
+
+find the types and values for all authorised values assigned to this biblio.
+
+parameters:
+    biblionumber
+    MARC::Record of the bib
+
+returns: a hashref mapping the authorised value to the value set for this biblionumber
+
+  $authorised_values = {
+                       'Scent'     => 'flowery',
+                       'Audience'  => 'Young Adult',
+                       'itemtypes' => 'SER',
+                        };
+
+Notes: forlibrarian should probably be passed in, and called something different.
 
-$count = &GetItemsCount( $biblionumber);
-this function return count of item with $biblionumber
 =cut
 
-sub GetItemsCount {
-    my ( $biblionumber ) = @_;
-    my $dbh = C4::Context->dbh;
-    my $query = qq|SELECT count(*)
-                 FROM  items 
-                 WHERE biblionumber=?|;
-    my $sth = $dbh->prepare($query);
-    $sth->execute($biblionumber);
-    my $count = $sth->fetchrow;  
-    $sth->finish;
-    return ($count);
-}
+sub get_biblio_authorised_values {
+    my $biblionumber = shift;
+    my $record       = shift;
 
-END { }    # module clean-up code here (global destructor)
+    my $forlibrarian  = 1;                                 # are we in staff or opac?
+    my $frameworkcode = GetFrameworkCode($biblionumber);
+
+    my $authorised_values;
+
+    my $tagslib = GetMarcStructure( $forlibrarian, $frameworkcode )
+      or return $authorised_values;
+
+    # assume that these entries in the authorised_value table are bibliolevel.
+    # ones that start with 'item%' are item level.
+    my $query = q(SELECT distinct authorised_value, kohafield
+                    FROM marc_subfield_structure
+                    WHERE authorised_value !=''
+                      AND (kohafield like 'biblio%'
+                       OR  kohafield like '') );
+    my $bibliolevel_authorised_values = C4::Context->dbh->selectall_hashref( $query, 'authorised_value' );
+
+    foreach my $tag ( keys(%$tagslib) ) {
+        foreach my $subfield ( keys( %{ $tagslib->{$tag} } ) ) {
+
+            # warn "checking $subfield. type is: " . ref $tagslib->{ $tag }{ $subfield };
+            if ( 'HASH' eq ref $tagslib->{$tag}{$subfield} ) {
+                if ( defined $tagslib->{$tag}{$subfield}{'authorised_value'} && exists $bibliolevel_authorised_values->{ $tagslib->{$tag}{$subfield}{'authorised_value'} } ) {
+                    if ( defined $record->field($tag) ) {
+                        my $this_subfield_value = $record->field($tag)->subfield($subfield);
+                        if ( defined $this_subfield_value ) {
+                            $authorised_values->{ $tagslib->{$tag}{$subfield}{'authorised_value'} } = $this_subfield_value;
+                        }
+                    }
+                }
+            }
+        }
+    }
+
+    # warn ( Data::Dumper->Dump( [ $authorised_values ], [ 'authorised_values' ] ) );
+    return $authorised_values;
+}
 
 1;
 
@@ -4139,174 +3461,10 @@ __END__
 
 =head1 AUTHOR
 
-Koha Developement team <info@koha.org>
+Koha Development Team <http://koha-community.org/>
 
 Paul POULAIN paul.poulain@free.fr
 
 Joshua Ferraro jmf@liblime.com
 
 =cut
-
-# $Id$
-# $Log$
-# Revision 1.221  2007/07/31 16:01:11  toins
-# Some new functions.
-# TransformHTMLtoMarc rewrited.
-#
-# Revision 1.220  2007/07/20 15:43:16  hdl
-# Bug Fixing GetMarcSubjects.
-# Links parameters were mixed.
-#
-# Revision 1.218  2007/07/19 07:40:08  hdl
-# Adding selection by location for inventory
-#
-# Revision 1.217  2007/07/03 13:47:44  tipaul
-# fixing some display bugs (itemtype not properly returned and a html table bug that makes items appear strangely
-#
-# Revision 1.216  2007/07/03 09:40:58  tipaul
-# return itemtype description properly
-#
-# Revision 1.215  2007/07/03 09:33:05  tipaul
-# if you just replace su by a space in subjects, you'll replace jesus by je s, which is strange for users. this fix solves the problem and introduces authoritysep systempref as separator of subfields, for a better identification of where the authority starts and end
-#
-# Revision 1.214  2007/07/02 09:13:22  tipaul
-# unimarc bugfix : the encoding is in field 100 in UNIMARC. when TransformHTMLtoXML on an item, you must not automatically add a 100 field in items, otherwise there will be 2 100 fields in the biblio, which is wrong
-#
-# Revision 1.213  2007/06/25 15:01:45  tipaul
-# bugfixes on unimarc 100 handling (the field used for encoding)
-#
-# Revision 1.212  2007/06/15 13:44:44  tipaul
-# some fixes (and only fixes)
-#
-# Revision 1.211  2007/06/15 09:40:06  toins
-# do not get $3 $4 and $5 on GetMarcSubjects GetMarcAuthors on unimarc flavour.
-#
-# Revision 1.210  2007/06/13 13:03:34  toins
-# removing warn compilation.
-#
-# Revision 1.209  2007/05/23 16:19:40  tipaul
-# various bugfixes (minor) and french translation updated
-#
-# Revision 1.208  2007/05/22 09:13:54  tipaul
-# Bugfixes & improvements (various and minor) :
-# - updating templates to have tmpl_process3.pl running without any errors
-# - adding a drupal-like css for prog templates (with 3 small images)
-# - fixing some bugs in circulation & other scripts
-# - updating french translation
-# - fixing some typos in templates
-#
-# Revision 1.207  2007/05/22 08:51:19  hdl
-# Changing GetMarcStructure signature.
-# Deleting first parameter $dbh
-#
-# Revision 1.206  2007/05/21 08:44:17  btoumi
-# add security when u delete biblio :
-# u must delete linked items before delete biblio
-#
-# Revision 1.205  2007/05/11 16:04:03  btoumi
-# bug fix:
-# problem in  displayed label link  with subject in detail.tmpl
-# ex: label random => rdom
-#
-# Revision 1.204  2007/05/10 14:45:15  tipaul
-# Koha NoZebra :
-# - support for authorities
-# - some bugfixes in ordering and "CCL" parsing
-# - support for authorities <=> biblios walking
-#
-# Seems I can do what I want now, so I consider its done, except for bugfixes that will be needed i m sure !
-#
-# Revision 1.203  2007/05/03 15:16:02  tipaul
-# BUGFIX for : NoZebra
-# - NoZebra features : seems they work fine now (adding, modifying, deleting)
-# - Biblio edition major bugfix : before this commit editing a biblio resulted in an item removal in marcxml field
-#
-# Revision 1.202  2007/05/02 16:44:31  tipaul
-# NoZebra SQL index management :
-# * adding 3 subs in Biblio.pm
-# - GetNoZebraIndexes, that get the index structure in a new systempreference (added with this commit)
-# - _DelBiblioNoZebra, that retrieve all index entries for a biblio and remove in a variable the biblio reference
-# - _AddBiblioNoZebra, that add index entries for a biblio.
-# Note that the 2 _Add and _Del subs work only in a hash variable, to speed up things in case of a modif (ie : delete+add). The effective SQL update is done in the ModZebra sub (that existed before, and dealed with zebra index).
-# I think the code has to be more deeply tested, but it works at least partially.
-#
-# Revision 1.201  2007/04/27 14:00:49  hdl
-# Removing $dbh from GetMarcFromKohaField (dbh is not used in this function.)
-#
-# Revision 1.200  2007/04/25 16:26:42  tipaul
-# Koha 3.0 nozebra 1st commit : the script misc/migration_tools/rebuild_nozebra.pl build the nozebra table, and, if you set NoZebra to Yes, queries will be done through zebra. TODO :
-# - add nozebra table management on biblio editing
-# - the index table content is hardcoded. I still have to add some specific systempref to let the library update it
-# - manage pagination (next/previous)
-# - manage facets
-# WHAT works :
-# - NZgetRecords : has exactly the same API & returns as zebra getQuery, except that some parameters are unused
-# - search & sort works quite good
-# - CQL parser is better that what I thought I could do : title="harry and sally" and publicationyear>2000 not itemtype=LIVR should work fine
-#
-# Revision 1.199  2007/04/24 09:07:53  tipaul
-# moving dotransfer to Biblio.pm::ModItemTransfer + some CheckReserves fixes
-#
-# Revision 1.198  2007/04/23 15:21:17  tipaul
-# renaming currenttransfers to transferstoreceive
-#
-# Revision 1.197  2007/04/18 17:00:14  tipaul
-# removing all useless %env / $env
-#
-# Revision 1.196  2007/04/17 08:48:00  tipaul
-# circulation cleaning continued: bufixing
-#
-# Revision 1.195  2007/04/04 16:46:22  tipaul
-# HUGE COMMIT : code cleaning circulation.
-#
-# some stuff to do, i'll write a mail on koha-devel NOW !
-#
-# Revision 1.194  2007/03/30 12:00:42  tipaul
-# why the hell do we need to explicitly utf8 decode this string ? I really don't know, but it seems it's mandatory, otherwise, tag descriptions are not properly encoded...
-#
-# Revision 1.193  2007/03/29 16:45:53  tipaul
-# Code cleaning of Biblio.pm (continued)
-#
-# All subs have be cleaned :
-# - removed useless
-# - merged some
-# - reordering Biblio.pm completly
-# - using only naming conventions
-#
-# Seems to have broken nothing, but it still has to be heavily tested.
-# Note that Biblio.pm is now much more efficient than previously & probably more reliable as well.
-#
-# Revision 1.192  2007/03/29 13:30:31  tipaul
-# Code cleaning :
-# == Biblio.pm cleaning (useless) ==
-# * some sub declaration dropped
-# * removed modbiblio sub
-# * removed moditem sub
-# * removed newitems. It was used only in finishrecieve. Replaced by a TransformKohaToMarc+AddItem, that is better.
-# * removed MARCkoha2marcItem
-# * removed MARCdelsubfield declaration
-# * removed MARCkoha2marcBiblio
-#
-# == Biblio.pm cleaning (naming conventions) ==
-# * MARCgettagslib renamed to GetMarcStructure
-# * MARCgetitems renamed to GetMarcItem
-# * MARCfind_frameworkcode renamed to GetFrameworkCode
-# * MARCmarc2koha renamed to TransformMarcToKoha
-# * MARChtml2marc renamed to TransformHtmlToMarc
-# * MARChtml2xml renamed to TranformeHtmlToXml
-# * zebraop renamed to ModZebra
-#
-# == MARC=OFF ==
-# * removing MARC=OFF related scripts (in cataloguing directory)
-# * removed checkitems (function related to MARC=off feature, that is completly broken in head. If someone want to reintroduce it, hard work coming...)
-# * removed getitemsbybiblioitem (used only by MARC=OFF scripts, that is removed as well)
-#
-# Revision 1.191  2007/03/29 09:42:13  tipaul
-# adding default value new feature into cataloguing. The system (definition) part has already been added by toins
-#
-# Revision 1.190  2007/03/29 08:45:19  hdl
-# Deleting ignore_errors(1) pour MARC::Charset
-#
-# Revision 1.189  2007/03/28 10:39:16  hdl
-# removing $dbh as a parameter in AuthoritiesMarc functions
-# And reporting all differences into the scripts taht relies on those functions.