Bug 32027: Fix 'librarian interface' to use 'staff interface' in Pages/HTML customiza...
[koha-ffzg.git] / C4 / Letters.pm
index 79eae47..3bddc69 100644 (file)
@@ -19,33 +19,49 @@ package C4::Letters;
 
 use Modern::Perl;
 
-use MIME::Lite;
-use Mail::Sendmail;
-use Date::Calc qw( Add_Delta_Days );
-use Encode;
-use Carp;
+use Carp qw( carp croak );
 use Template;
-use Module::Load::Conditional qw(can_load);
+use Module::Load::Conditional qw( can_load );
+
+use Try::Tiny;
 
 use C4::Members;
-use C4::Members::Attributes qw(GetBorrowerAttributes);
-use C4::Log;
+use C4::Log qw( logaction );
 use C4::SMS;
-use C4::Debug;
-use Koha::DateUtils;
+use C4::Templates;
 use Koha::SMS::Providers;
 
 use Koha::Email;
-use Koha::DateUtils qw( format_sqldatetime dt_from_string );
+use Koha::Notice::Messages;
+use Koha::Notice::Templates;
+use Koha::DateUtils qw( dt_from_string output_pref );
+use Koha::Auth::TwoFactorAuth;
 use Koha::Patrons;
+use Koha::SMTP::Servers;
+use Koha::Subscriptions;
 
-use vars qw(@ISA @EXPORT @EXPORT_OK %EXPORT_TAGS);
+use constant SERIALIZED_EMAIL_CONTENT_TYPE => 'message/rfc822';
 
+our (@ISA, @EXPORT_OK);
 BEGIN {
     require Exporter;
     @ISA = qw(Exporter);
-    @EXPORT = qw(
-        &GetLetters &GetLettersAvailableForALibrary &GetLetterTemplates &DelLetter &GetPreparedLetter &GetWrappedLetter &addalert &getalert &delalert &findrelatedto &SendAlerts &GetPrintMessages &GetMessageTransportTypes
+    @EXPORT_OK = qw(
+      GetLetters
+      GetLettersAvailableForALibrary
+      GetLetterTemplates
+      DelLetter
+      GetPreparedLetter
+      GetWrappedLetter
+      SendAlerts
+      GetPrintMessages
+      GetQueuedMessages
+      GetMessage
+      GetMessageTransportTypes
+
+      EnqueueLetter
+      SendQueuedMessages
+      ResendMessage
     );
 }
 
@@ -120,19 +136,18 @@ sub GetLetterTemplates {
     my $code      = $params->{code};
     my $branchcode = $params->{branchcode} // '';
     my $dbh       = C4::Context->dbh;
-    my $letters   = $dbh->selectall_arrayref(
-        q|
-            SELECT module, code, branchcode, name, is_html, title, content, message_transport_type, lang
-            FROM letter
-            WHERE module = ?
-            AND code = ?
-            and branchcode = ?
-        |
-        , { Slice => {} }
-        , $module, $code, $branchcode
-    );
-
-    return $letters;
+    return Koha::Notice::Templates->search(
+        {
+            module     => $module,
+            code       => $code,
+            branchcode => $branchcode,
+            (
+                C4::Context->preference('TranslateNotices')
+                ? ()
+                : ( lang => 'default' )
+            )
+        }
+    )->unblessed;
 }
 
 =head2 GetLettersAvailableForALibrary
@@ -201,35 +216,6 @@ sub GetLettersAvailableForALibrary {
 
 }
 
-sub getletter {
-    my ( $module, $code, $branchcode, $message_transport_type, $lang) = @_;
-    $message_transport_type //= '%';
-    $lang = 'default' unless( $lang && C4::Context->preference('TranslateNotices') );
-
-
-    my $only_my_library = C4::Context->only_my_library;
-    if ( $only_my_library and $branchcode ) {
-        $branchcode = C4::Context::mybranch();
-    }
-    $branchcode //= '';
-
-    my $dbh = C4::Context->dbh;
-    my $sth = $dbh->prepare(q{
-        SELECT *
-        FROM letter
-        WHERE module=? AND code=? AND (branchcode = ? OR branchcode = '')
-        AND message_transport_type LIKE ?
-        AND lang =?
-        ORDER BY branchcode DESC LIMIT 1
-    });
-    $sth->execute( $module, $code, $branchcode, $message_transport_type, $lang );
-    my $line = $sth->fetchrow_hashref
-      or return;
-    $line->{'content-type'} = 'text/html; charset="UTF-8"' if $line->{is_html};
-    return { %$line };
-}
-
-
 =head2 DelLetter
 
     DelLetter(
@@ -265,108 +251,6 @@ sub DelLetter {
     , undef, $branchcode, $module, $code, ( $mtt ? $mtt : () ), ( $lang ? $lang : () ) );
 }
 
-=head2 addalert ($borrowernumber, $type, $externalid)
-
-    parameters : 
-    - $borrowernumber : the number of the borrower subscribing to the alert
-    - $type : the type of alert.
-    - $externalid : the primary key of the object to put alert on. For issues, the alert is made on subscriptionid.
-    
-    create an alert and return the alertid (primary key)
-
-=cut
-
-sub addalert {
-    my ( $borrowernumber, $type, $externalid ) = @_;
-    my $dbh = C4::Context->dbh;
-    my $sth =
-      $dbh->prepare(
-        "insert into alert (borrowernumber, type, externalid) values (?,?,?)");
-    $sth->execute( $borrowernumber, $type, $externalid );
-
-    # get the alert number newly created and return it
-    my $alertid = $dbh->{'mysql_insertid'};
-    return $alertid;
-}
-
-=head2 delalert ($alertid)
-
-    parameters :
-    - alertid : the alert id
-    deletes the alert
-
-=cut
-
-sub delalert {
-    my $alertid = shift or die "delalert() called without valid argument (alertid)";    # it's gonna die anyway.
-    $debug and warn "delalert: deleting alertid $alertid";
-    my $sth = C4::Context->dbh->prepare("delete from alert where alertid=?");
-    $sth->execute($alertid);
-}
-
-=head2 getalert ([$borrowernumber], [$type], [$externalid])
-
-    parameters :
-    - $borrowernumber : the number of the borrower subscribing to the alert
-    - $type : the type of alert.
-    - $externalid : the primary key of the object to put alert on. For issues, the alert is made on subscriptionid.
-    all parameters NON mandatory. If a parameter is omitted, the query is done without the corresponding parameter. For example, without $externalid, returns all alerts for a borrower on a topic.
-
-=cut
-
-sub getalert {
-    my ( $borrowernumber, $type, $externalid ) = @_;
-    my $dbh   = C4::Context->dbh;
-    my $query = "SELECT a.*, b.branchcode FROM alert a JOIN borrowers b USING(borrowernumber) WHERE 1";
-    my @bind;
-    if ($borrowernumber and $borrowernumber =~ /^\d+$/) {
-        $query .= " AND borrowernumber=?";
-        push @bind, $borrowernumber;
-    }
-    if ($type) {
-        $query .= " AND type=?";
-        push @bind, $type;
-    }
-    if ($externalid) {
-        $query .= " AND externalid=?";
-        push @bind, $externalid;
-    }
-    my $sth = $dbh->prepare($query);
-    $sth->execute(@bind);
-    return $sth->fetchall_arrayref({});
-}
-
-=head2 findrelatedto($type, $externalid)
-
-    parameters :
-    - $type : the type of alert
-    - $externalid : the id of the "object" to query
-
-    In the table alert, a "id" is stored in the externalid field. This "id" is related to another table, depending on the type of the alert.
-    When type=issue, the id is related to a subscriptionid and this sub returns the name of the biblio.
-
-=cut
-    
-# outmoded POD:
-# When type=virtual, the id is related to a virtual shelf and this sub returns the name of the sub
-
-sub findrelatedto {
-    my $type       = shift or return;
-    my $externalid = shift or return;
-    my $q = ($type eq 'issue'   ) ?
-"select title as result from subscription left join biblio on subscription.biblionumber=biblio.biblionumber where subscriptionid=?" :
-            ($type eq 'borrower') ?
-"select concat(firstname,' ',surname) from borrowers where borrowernumber=?" : undef;
-    unless ($q) {
-        warn "findrelatedto(): Illegal type '$type'";
-        return;
-    }
-    my $sth = C4::Context->dbh->prepare($q);
-    $sth->execute($externalid);
-    my ($result) = $sth->fetchrow;
-    return $result;
-}
-
 =head2 SendAlerts
 
     my $err = &SendAlerts($type, $externalid, $letter_code);
@@ -393,6 +277,8 @@ sub findrelatedto {
 sub SendAlerts {
     my ( $type, $externalid, $letter_code ) = @_;
     my $dbh = C4::Context->dbh;
+    my $error;
+
     if ( $type eq 'issue' ) {
 
         # prepare the letter...
@@ -414,23 +300,21 @@ sub SendAlerts {
           or warn( "No biblionumber for '$subscriptionid'" ),
              return;
 
-        my %letter;
-        # find the list of borrowers to alert
-        my $alerts = getalert( '', 'issue', $subscriptionid );
-        foreach (@$alerts) {
-            my $patron = Koha::Patrons->find( $_->{borrowernumber} );
-            next unless $patron; # Just in case
+        # find the list of subscribers to notify
+        my $subscription = Koha::Subscriptions->find( $subscriptionid );
+        my $subscribers = $subscription->subscribers;
+        while ( my $patron = $subscribers->next ) {
             my $email = $patron->email or next;
 
 #                    warn "sending issues...";
             my $userenv = C4::Context->userenv;
-            my $library = Koha::Libraries->find( $_->{branchcode} );
+            my $library = $patron->library;
             my $letter = GetPreparedLetter (
                 module => 'serial',
                 letter_code => $letter_code,
                 branchcode => $userenv->{branch},
                 tables => {
-                    'branches'    => $_->{branchcode},
+                    'branches'    => $library->branchcode,
                     'biblio'      => $biblionumber,
                     'biblioitems' => $biblionumber,
                     'borrowers'   => $patron->unblessed,
@@ -440,28 +324,37 @@ sub SendAlerts {
                 want_librarian => 1,
             ) or return;
 
-            # ... then send mail
-            my $message = Koha::Email->new();
-            my %mail = $message->create_message_headers(
+            # FIXME: This 'default' behaviour should be moved to Koha::Email
+            my $mail = Koha::Email->create(
                 {
-                    to      => $email,
-                    from    => $library->branchemail,
-                    replyto => $library->branchreplyto,
-                    sender  => $library->branchreturnpath,
-                    subject => Encode::encode( "UTF-8", "" . $letter->{title} ),
-                    message => $letter->{'is_html'}
-                                ? _wrap_html( Encode::encode( "UTF-8", $letter->{'content'} ),
-                                              Encode::encode( "UTF-8", "" . $letter->{'title'} ))
-                                : Encode::encode( "UTF-8", "" . $letter->{'content'} ),
-                    contenttype => $letter->{'is_html'}
-                                    ? 'text/html; charset="utf-8"'
-                                    : 'text/plain; charset="utf-8"',
+                    to       => $email,
+                    from     => $library->branchemail,
+                    reply_to => $library->branchreplyto,
+                    sender   => $library->branchreturnpath,
+                    subject  => "" . $letter->{title},
                 }
             );
-            unless( Mail::Sendmail::sendmail(%mail) ) {
-                carp $Mail::Sendmail::error;
-                return { error => $Mail::Sendmail::error };
+
+            if ( $letter->{is_html} ) {
+                $mail->html_body( _wrap_html( $letter->{content}, "" . $letter->{title} ) );
+            }
+            else {
+                $mail->text_body( $letter->{content} );
+            }
+
+            my $success = try {
+                $mail->send_or_die({ transport => $library->smtp_server->transport });
             }
+            catch {
+                # We expect ref($_) eq 'Email::Sender::Failure'
+                $error = $_->message;
+
+                carp "$_";
+                return;
+            };
+
+            return { error => $error }
+                unless $success;
         }
     }
     elsif ( $type eq 'claimacquisition' or $type eq 'claimissues' or $type eq 'orderacquisition' ) {
@@ -471,6 +364,7 @@ sub SendAlerts {
         my $sthorders;
         my $dataorders;
         my $action;
+        my $basketno;
         if ( $type eq 'claimacquisition') {
             $strsth = qq{
             SELECT aqorders.*,aqbasket.*,biblio.*,biblioitems.*
@@ -494,28 +388,30 @@ sub SendAlerts {
 
         if ($type eq 'claimissues') {
             $strsth = qq{
-            SELECT serial.*,subscription.*, biblio.*, aqbooksellers.*,
+            SELECT serial.*,subscription.*, biblio.*, biblioitems.*, aqbooksellers.*,
             aqbooksellers.id AS booksellerid
             FROM serial
             LEFT JOIN subscription ON serial.subscriptionid=subscription.subscriptionid
             LEFT JOIN biblio ON serial.biblionumber=biblio.biblionumber
+            LEFT JOIN biblioitems ON serial.biblionumber = biblioitems.biblionumber
             LEFT JOIN aqbooksellers ON subscription.aqbooksellerid=aqbooksellers.id
             WHERE serial.serialid IN (
             };
 
             if (!@$externalid){
-                carp "No Order selected";
-                return { error => "no_order_selected" };
+                carp "No issues selected";
+                return { error => "no_issues_selected" };
             }
 
             $strsth .= join( ",", ('?') x @$externalid ) . ")";
-            $action = "CLAIM ISSUE";
+            $action = "SERIAL CLAIM";
             $sthorders = $dbh->prepare($strsth);
             $sthorders->execute( @$externalid );
             $dataorders = $sthorders->fetchall_arrayref( {} );
         }
 
         if ( $type eq 'orderacquisition') {
+            $basketno = $externalid;
             $strsth = qq{
             SELECT aqorders.*,aqbasket.*,biblio.*,biblioitems.*
             FROM aqorders
@@ -526,13 +422,13 @@ sub SendAlerts {
             AND orderstatus IN ('new','ordered')
             };
 
-            if (!$externalid){
+            unless ( $basketno ) {
                 carp "No basketnumber given";
                 return { error => "no_basketno" };
             }
             $action = "ACQUISITION ORDER";
             $sthorders = $dbh->prepare($strsth);
-            $sthorders->execute($externalid);
+            $sthorders->execute($basketno);
             $dataorders = $sthorders->fetchall_arrayref( {} );
         }
 
@@ -550,7 +446,6 @@ sub SendAlerts {
 
         my @email;
         my @cc;
-        push @email, $databookseller->{bookselleremail} if $databookseller->{bookselleremail};
         push @email, $datacontact->{email}           if ( $datacontact && $datacontact->{email} );
         unless (@email) {
             warn "Bookseller $dataorders->[0]->{booksellerid} without emails";
@@ -567,9 +462,10 @@ sub SendAlerts {
             letter_code => $letter_code,
             branchcode => $userenv->{branch},
             tables => {
-                'branches'    => $userenv->{branch},
+                'branches'      => $userenv->{branch},
                 'aqbooksellers' => $databookseller,
                 'aqcontacts'    => $datacontact,
+                'aqbasket'      => $basketno,
             },
             repeat => $dataorders,
             want_librarian => 1,
@@ -580,82 +476,59 @@ sub SendAlerts {
 
         # ... then send mail
         my $library = Koha::Libraries->find( $userenv->{branch} );
-        my %mail = (
-            To => join( ',', @email),
-            Cc             => join( ',', @cc),
-            From           => $library->branchemail || C4::Context->preference('KohaAdminEmailAddress'),
-            Subject        => Encode::encode( "UTF-8", "" . $letter->{title} ),
-            Message => $letter->{'is_html'}
-                            ? _wrap_html( Encode::encode( "UTF-8", $letter->{'content'} ),
-                                          Encode::encode( "UTF-8", "" . $letter->{'title'} ))
-                            : Encode::encode( "UTF-8", "" . $letter->{'content'} ),
-            'Content-Type' => $letter->{'is_html'}
-                                ? 'text/html; charset="utf-8"'
-                                : 'text/plain; charset="utf-8"',
+        my $mail = Koha::Email->create(
+            {
+                to => join( ',', @email ),
+                cc => join( ',', @cc ),
+                (
+                    (
+                        C4::Context->preference("ClaimsBccCopy")
+                          && ( $type eq 'claimacquisition'
+                            || $type eq 'claimissues' )
+                    )
+                    ? ( bcc => $userenv->{emailaddress} )
+                    : ()
+                ),
+                from => $library->branchemail
+                  || C4::Context->preference('KohaAdminEmailAddress'),
+                subject => "" . $letter->{title},
+            }
         );
 
-        if ($type eq 'claimacquisition' || $type eq 'claimissues' ) {
-            $mail{'Reply-to'} = C4::Context->preference('ReplytoDefault')
-              if C4::Context->preference('ReplytoDefault');
-            $mail{'Sender'} = C4::Context->preference('ReturnpathDefault')
-              if C4::Context->preference('ReturnpathDefault');
-            $mail{'Bcc'} = $userenv->{emailaddress}
-              if C4::Context->preference("ClaimsBccCopy");
+        if ( $letter->{is_html} ) {
+            $mail->html_body( _wrap_html( $letter->{content}, "" . $letter->{title} ) );
+        }
+        else {
+            $mail->text_body( "" . $letter->{content} );
         }
 
-        unless ( Mail::Sendmail::sendmail(%mail) ) {
-            carp $Mail::Sendmail::error;
-            return { error => $Mail::Sendmail::error };
+        my $success = try {
+            $mail->send_or_die({ transport => $library->smtp_server->transport });
         }
+        catch {
+            # We expect ref($_) eq 'Email::Sender::Failure'
+            $error = $_->message;
+
+            carp "$_";
+            return;
+        };
 
+        return { error => $error }
+            unless $success;
+
+        my $log_object = $action eq 'ACQUISITION ORDER' ? $externalid : undef;
+        my $module = $action eq 'ACQUISITION ORDER' ? 'ACQUISITIONS' : 'CLAIMS';
         logaction(
-            "ACQUISITION",
+            $module,
             $action,
-            undef,
+            $log_object,
             "To="
                 . join( ',', @email )
                 . " Title="
                 . $letter->{title}
                 . " Content="
                 . $letter->{content}
-        ) if C4::Context->preference("LetterLog");
-    }
-   # send an "account details" notice to a newly created user
-    elsif ( $type eq 'members' ) {
-        my $library = Koha::Libraries->find( $externalid->{branchcode} )->unblessed;
-        my $letter = GetPreparedLetter (
-            module => 'members',
-            letter_code => $letter_code,
-            branchcode => $externalid->{'branchcode'},
-            tables => {
-                'branches'    => $library,
-                'borrowers' => $externalid->{'borrowernumber'},
-            },
-            substitute => { 'borrowers.password' => $externalid->{'password'} },
-            want_librarian => 1,
-        ) or return;
-        return { error => "no_email" } unless $externalid->{'emailaddr'};
-        my $email = Koha::Email->new();
-        my %mail  = $email->create_message_headers(
-            {
-                to      => $externalid->{'emailaddr'},
-                from    => $library->{branchemail},
-                replyto => $library->{branchreplyto},
-                sender  => $library->{branchreturnpath},
-                subject => Encode::encode( "UTF-8", "" . $letter->{'title'} ),
-                message => $letter->{'is_html'}
-                            ? _wrap_html( Encode::encode( "UTF-8", $letter->{'content'} ),
-                                          Encode::encode( "UTF-8", "" . $letter->{'title'}  ) )
-                            : Encode::encode( "UTF-8", "" . $letter->{'content'} ),
-                contenttype => $letter->{'is_html'}
-                                ? 'text/html; charset="utf-8"'
-                                : 'text/plain; charset="utf-8"',
-            }
-        );
-        unless( Mail::Sendmail::sendmail(%mail) ) {
-            carp $Mail::Sendmail::error;
-            return { error => $Mail::Sendmail::error };
-        }
+        ) if C4::Context->preference("ClaimsLog");
     }
 
     # If we come here, return an OK status
@@ -689,34 +562,46 @@ sub GetPreparedLetter {
     my %params = @_;
 
     my $letter = $params{letter};
+    my $lang   = $params{lang} || 'default';
 
     unless ( $letter ) {
         my $module      = $params{module} or croak "No module";
         my $letter_code = $params{letter_code} or croak "No letter_code";
         my $branchcode  = $params{branchcode} || '';
         my $mtt         = $params{message_transport_type} || 'email';
-        my $lang        = $params{lang} || 'default';
 
-        $letter = getletter( $module, $letter_code, $branchcode, $mtt, $lang );
+        my $template = Koha::Notice::Templates->find_effective_template(
+            {
+                module                 => $module,
+                code                   => $letter_code,
+                branchcode             => $branchcode,
+                message_transport_type => $mtt,
+                lang                   => $lang
+            }
+        );
 
-        unless ( $letter ) {
-            $letter = getletter( $module, $letter_code, $branchcode, $mtt, 'default' )
-                or warn( "No $module $letter_code letter transported by " . $mtt ),
-                    return;
+        unless ( $template ) {
+            warn( "No $module $letter_code letter transported by " . $mtt );
+            return;
         }
+
+        $letter = $template->unblessed;
+        $letter->{'content-type'} = 'text/html; charset="UTF-8"' if $letter->{is_html};
     }
 
+    my $objects = $params{objects} || {};
     my $tables = $params{tables} || {};
     my $substitute = $params{substitute} || {};
     my $loops  = $params{loops} || {}; # loops is not supported for historical notices syntax
     my $repeat = $params{repeat};
-    %$tables || %$substitute || $repeat || %$loops
-      or carp( "ERROR: nothing to substitute - both 'tables', 'loops' and 'substitute' are empty" ),
+    %$tables || %$substitute || $repeat || %$loops || %$objects
+      or carp( "ERROR: nothing to substitute - all of 'objects', 'tables', 'loops' and 'substitute' are empty" ),
          return;
     my $want_librarian = $params{want_librarian};
 
     if (%$substitute) {
         while ( my ($token, $val) = each %$substitute ) {
+            $val //= q{};
             if ( $token eq 'items.content' ) {
                 $val =~ s|\n|<br/>|g if $letter->{is_html};
             }
@@ -786,10 +671,23 @@ sub GetPreparedLetter {
 
     $letter->{content} = _process_tt(
         {
-            content => $letter->{content},
-            tables  => $tables,
-            loops  => $loops,
+            content    => $letter->{content},
+            lang       => $lang,
+            loops      => $loops,
+            objects    => $objects,
             substitute => $substitute,
+            tables     => $tables,
+        }
+    );
+
+    $letter->{title} = _process_tt(
+        {
+            content    => $letter->{title},
+            lang       => $lang,
+            loops      => $loops,
+            objects    => $objects,
+            substitute => $substitute,
+            tables     => $tables,
         }
     );
 
@@ -837,22 +735,29 @@ sub _parseletter_sth {
     #       broke things for the rest of us. prepare_cached is a better
     #       way to cache statement handles anyway.
     my $query = 
+    ($table eq 'accountlines' )    ? "SELECT * FROM $table WHERE   accountlines_id = ?"                               :
     ($table eq 'biblio'       )    ? "SELECT * FROM $table WHERE   biblionumber = ?"                                  :
     ($table eq 'biblioitems'  )    ? "SELECT * FROM $table WHERE   biblionumber = ?"                                  :
+    ($table eq 'credits'      )    ? "SELECT * FROM accountlines WHERE   accountlines_id = ?"                         :
+    ($table eq 'debits'       )    ? "SELECT * FROM accountlines WHERE   accountlines_id = ?"                         :
     ($table eq 'items'        )    ? "SELECT * FROM $table WHERE     itemnumber = ?"                                  :
     ($table eq 'issues'       )    ? "SELECT * FROM $table WHERE     itemnumber = ?"                                  :
-    ($table eq 'old_issues'   )    ? "SELECT * FROM $table WHERE     itemnumber = ? ORDER BY timestamp DESC LIMIT 1"  :
+    ($table eq 'old_issues'   )    ? "SELECT * FROM $table WHERE     issue_id = ?"  :
     ($table eq 'reserves'     )    ? "SELECT * FROM $table WHERE borrowernumber = ? and biblionumber = ?"             :
     ($table eq 'borrowers'    )    ? "SELECT * FROM $table WHERE borrowernumber = ?"                                  :
     ($table eq 'branches'     )    ? "SELECT * FROM $table WHERE     branchcode = ?"                                  :
     ($table eq 'suggestions'  )    ? "SELECT * FROM $table WHERE   suggestionid = ?"                                  :
     ($table eq 'aqbooksellers')    ? "SELECT * FROM $table WHERE             id = ?"                                  :
     ($table eq 'aqorders'     )    ? "SELECT * FROM $table WHERE    ordernumber = ?"                                  :
-    ($table eq 'opac_news'    )    ? "SELECT * FROM $table WHERE          idnew = ?"                                  :
+    ($table eq 'aqbasket'     )    ? "SELECT * FROM $table WHERE       basketno = ?"                                  :
+    ($table eq 'illrequests'  )    ? "SELECT * FROM $table WHERE  illrequest_id = ?"                                  :
     ($table eq 'article_requests') ? "SELECT * FROM $table WHERE             id = ?"                                  :
     ($table eq 'borrower_modifications') ? "SELECT * FROM $table WHERE verification_token = ?" :
     ($table eq 'subscription') ? "SELECT * FROM $table WHERE subscriptionid = ?" :
     ($table eq 'serial') ? "SELECT * FROM $table WHERE serialid = ?" :
+    ($table eq 'problem_reports') ? "SELECT * FROM $table WHERE reportid = ?" :
+    ($table eq 'additional_contents' || $table eq 'opac_news') ? "SELECT * FROM additional_contents WHERE idnew = ?" :
+    ($table eq 'recalls') ? "SELECT * FROM $table WHERE recall_id = ?" :
     undef ;
     unless ($query) {
         warn "ERROR: No _parseletter_sth query for table '$table'";
@@ -883,8 +788,9 @@ sub _parseletter {
     # in callers ( by changing / formatting values )
     my $values = $values_in ? { %$values_in } : {};
 
+    # FIXME Dates formatting must be done in notice's templates
     if ( $table eq 'borrowers' && $values->{'dateexpiry'} ){
-        $values->{'dateexpiry'} = format_sqldatetime( $values->{'dateexpiry'} );
+        $values->{'dateexpiry'} = output_pref({ dt => dt_from_string( $values->{'dateexpiry'} ), dateonly => 1 });
     }
 
     if ( $table eq 'reserves' && $values->{'waitingdate'} ) {
@@ -892,7 +798,7 @@ sub _parseletter {
     }
 
     if ($letter->{content} && $letter->{content} =~ /<<today>>/) {
-        my $todaysdate = output_pref( DateTime->now() );
+        my $todaysdate = output_pref( dt_from_string() );
         $letter->{content} =~ s/<<today>>/$todaysdate/go;
     }
 
@@ -910,7 +816,6 @@ sub _parseletter {
         # Dates replacement
         my $replacedby   = defined ($val) ? $val : '';
         if (    $replacedby
-            and not $replacedby =~ m|0000-00-00|
             and not $replacedby =~ m|9999-12-31|
             and $replacedby =~ m|^\d{4}-\d{2}-\d{2}( \d{2}:\d{2}:\d{2})?$| )
         {
@@ -926,8 +831,9 @@ sub _parseletter {
                     $dateonly = $1 unless $dateonly;
                 }
                 my $replacedby_date = eval {
-                    output_pref({ dt => dt_from_string( $replacedby ), dateonly => $dateonly });
+                    output_pref({ dt => scalar dt_from_string( $replacedby ), dateonly => $dateonly });
                 };
+                $replacedby_date //= q{};
 
                 if ( $letter->{ $letter_field } ) {
                     $letter->{ $letter_field } =~ s/\Q<<$table.$field$filter_string_used>>\E/$replacedby_date/g;
@@ -947,11 +853,13 @@ sub _parseletter {
     }
 
     if ($table eq 'borrowers' && $letter->{content}) {
-        if ( my $attributes = GetBorrowerAttributes($values->{borrowernumber}) ) {
+        my $patron = Koha::Patrons->find( $values->{borrowernumber} );
+        if ( $patron ) {
+            my $attributes = $patron->extended_attributes;
             my %attr;
-            foreach (@$attributes) {
-                my $code = $_->{code};
-                my $val  = $_->{value_description} || $_->{value};
+            while ( my $attribute = $attributes->next ) {
+                my $code = $attribute->code;
+                my $val  = $attribute->description; # FIXME - we always display intranet description here!
                 $val =~ s/\p{P}(?=$)//g if $val;
                 next unless $val gt '';
                 $attr{$code} ||= [];
@@ -972,11 +880,19 @@ sub _parseletter {
   my $success = EnqueueLetter( { letter => $letter, 
         borrowernumber => '12', message_transport_type => 'email' } )
 
-places a letter in the message_queue database table, which will
+Places a letter in the message_queue database table, which will
 eventually get processed (sent) by the process_message_queue.pl
 cronjob when it calls SendQueuedMessages.
 
-return message_id on success
+Return message_id on success
+
+Parameters
+* letter - required; A letter hashref as returned from GetPreparedLetter
+* message_transport_type - required; One of the available mtts
+* borrowernumber - optional if 'to_address' is passed; The borrowernumber of the patron we enqueuing the notice for
+* to_address - optional if 'borrowernumber' is passed; The destination email address for the notice (defaults to patron->notice_email_address)
+* from_address - optional; The from address for the notice, defaults to patron->library->from_email_address
+* reply_address - optional; The reply address for the notice, defaults to patron->library->reply_to
 
 =cut
 
@@ -990,7 +906,7 @@ sub EnqueueLetter {
     my $content = $params->{letter}->{content};
     $content =~ s/\s+//g if(defined $content);
     if ( not defined $content or $content eq '' ) {
-        warn "Trying to add an empty message to the message queue" if $debug;
+        Koha::Logger->get->info("Trying to add an empty message to the message queue");
         return;
     }
 
@@ -999,7 +915,6 @@ sub EnqueueLetter {
         $params->{'letter'} = _add_attachments(
             {   letter      => $params->{'letter'},
                 attachments => $params->{'attachments'},
-                message     => MIME::Lite->new( Type => 'multipart/mixed' ),
             }
         );
     }
@@ -1007,13 +922,13 @@ sub EnqueueLetter {
     my $dbh       = C4::Context->dbh();
     my $statement = << 'ENDSQL';
 INSERT INTO message_queue
-( borrowernumber, subject, content, metadata, letter_code, message_transport_type, status, time_queued, to_address, from_address, content_type )
-VALUES
-( ?,              ?,       ?,       ?,        ?,           ?,                      ?,      NOW(),       ?,          ?,            ? )
+( letter_id, borrowernumber, subject, content, metadata, letter_code, message_transport_type, status, time_queued, to_address, from_address, reply_address, content_type, failure_code )
+VALUES ( ?, ?, ?, ?, ?, ?, ?, ?, CAST(NOW() AS DATETIME), ?, ?, ?, ?, ? )
 ENDSQL
 
     my $sth    = $dbh->prepare($statement);
     my $result = $sth->execute(
+        $params->{letter}->{id} || undef,         # letter.id
         $params->{'borrowernumber'},              # borrowernumber
         $params->{'letter'}->{'title'},           # subject
         $params->{'letter'}->{'content'},         # content
@@ -1023,7 +938,9 @@ ENDSQL
         'pending',                                # status
         $params->{'to_address'},                  # to_address
         $params->{'from_address'},                # from_address
+        $params->{'reply_address'},               # reply_address
         $params->{'letter'}->{'content-type'},    # content_type
+        $params->{'failure_code'}        || '',   # failure_code
     );
     return $dbh->last_insert_id(undef,undef,'message_queue', undef);
 }
@@ -1056,18 +973,24 @@ sub SendQueuedMessages {
     my $params = shift;
 
     my $which_unsent_messages  = {
+        'message_id'     => $params->{'message_id'},
         'limit'          => $params->{'limit'} // 0,
         'borrowernumber' => $params->{'borrowernumber'} // q{},
         'letter_code'    => $params->{'letter_code'} // q{},
-        'type'           => $params->{'type'} // q{},
+        'message_transport_type'           => $params->{'type'} // q{},
     };
     my $unsent_messages = _get_unsent_messages( $which_unsent_messages );
     MESSAGE: foreach my $message ( @$unsent_messages ) {
+        my $message_object = Koha::Notice::Messages->find( $message->{message_id} );
+        # If this fails the database is unwritable and we won't manage to send a message that continues to be marked 'pending'
+        $message_object->make_column_dirty('status');
+        return unless $message_object->store;
+
         # warn Data::Dumper->Dump( [ $message ], [ 'message' ] );
         warn sprintf( 'sending %s message to patron: %s',
                       $message->{'message_transport_type'},
                       $message->{'borrowernumber'} || 'Admin' )
-          if $params->{'verbose'} or $debug;
+          if $params->{'verbose'};
         # This is just begging for subclassing
         next MESSAGE if ( lc($message->{'message_transport_type'}) eq 'rss' );
         if ( lc( $message->{'message_transport_type'} ) eq 'email' ) {
@@ -1078,18 +1001,26 @@ sub SendQueuedMessages {
                 my $patron = Koha::Patrons->find( $message->{borrowernumber} );
                 my $sms_provider = Koha::SMS::Providers->find( $patron->sms_provider_id );
                 unless ( $sms_provider ) {
-                    warn sprintf( "Patron %s has no sms provider id set!", $message->{'borrowernumber'} ) if $params->{'verbose'} or $debug;
+                    warn sprintf( "Patron %s has no sms provider id set!", $message->{'borrowernumber'} ) if $params->{'verbose'};
                     _set_message_status( { message_id => $message->{'message_id'}, status => 'failed' } );
                     next MESSAGE;
                 }
                 unless ( $patron->smsalertnumber ) {
                     _set_message_status( { message_id => $message->{'message_id'}, status => 'failed' } );
-                    warn sprintf( "No smsalertnumber found for patron %s!", $message->{'borrowernumber'} ) if $params->{'verbose'} or $debug;
+                    warn sprintf( "No smsalertnumber found for patron %s!", $message->{'borrowernumber'} ) if $params->{'verbose'};
                     next MESSAGE;
                 }
                 $message->{to_address}  = $patron->smsalertnumber; #Sometime this is set to email - sms should always use smsalertnumber
                 $message->{to_address} .= '@' . $sms_provider->domain();
-                _update_message_to_address($message->{'message_id'},$message->{to_address});
+
+                # Check for possible from_address override
+                my $from_address = C4::Context->preference('EmailSMSSendDriverFromAddress');
+                if ($from_address && $message->{from_address} ne $from_address) {
+                    $message->{from_address} = $from_address;
+                    _update_message_from_address($message->{'message_id'}, $message->{from_address});
+                }
+
+                _update_message_to_address($message->{'message_id'}, $message->{to_address});
                 _send_message_by_email( $message, $params->{'username'}, $params->{'password'}, $params->{'method'} );
             } else {
                 _send_message_by_sms( $message );
@@ -1140,10 +1071,10 @@ sub GetPrintMessages {
 
   my $messages = GetQueuedMessage( { borrowernumber => '123', limit => 20 } );
 
-fetches messages out of the message queue.
+Fetches a list of messages from the message queue optionally filtered by borrowernumber
+and limited to specified limit.
 
-returns:
-list of hashes, each has represents a message in the message queue.
+Return is an arrayref of hashes, each has represents a message in the message queue.
 
 =cut
 
@@ -1152,7 +1083,7 @@ sub GetQueuedMessages {
 
     my $dbh = C4::Context->dbh();
     my $statement = << 'ENDSQL';
-SELECT message_id, borrowernumber, subject, content, message_transport_type, status, time_queued
+SELECT message_id, borrowernumber, subject, content, message_transport_type, status, time_queued, updated_on, failure_code
 FROM message_queue
 ENDSQL
 
@@ -1206,7 +1137,7 @@ sub GetMessage {
     return unless $message_id;
     my $dbh = C4::Context->dbh;
     return $dbh->selectrow_hashref(q|
-        SELECT message_id, borrowernumber, subject, content, metadata, letter_code, message_transport_type, status, time_queued, to_address, from_address, content_type
+        SELECT message_id, borrowernumber, subject, content, metadata, letter_code, message_transport_type, status, time_queued, updated_on, to_address, from_address, reply_address, content_type, failure_code
         FROM message_queue
         WHERE message_id = ?
     |, {}, $message_id );
@@ -1247,45 +1178,50 @@ sub ResendMessage {
 
 =head2 _add_attachements
 
+  _add_attachments({ letter => $letter, attachments => $attachments });
+
   named parameters:
   letter - the standard letter hashref
   attachments - listref of attachments. each attachment is a hashref of:
     type - the mime type, like 'text/plain'
     content - the actual attachment
     filename - the name of the attachment.
-  message - a MIME::Lite object to attach these to.
 
   returns your letter object, with the content updated.
+  This routine picks the I<content> of I<letter> and generates a MIME
+  email, attaching the passed I<attachments> using Koha::Email. The
+  content is replaced by the string representation of the MIME object,
+  and the content-type is updated for later handling.
 
 =cut
 
 sub _add_attachments {
     my $params = shift;
 
-    my $letter = $params->{'letter'};
-    my $attachments = $params->{'attachments'};
+    my $letter = $params->{letter};
+    my $attachments = $params->{attachments};
     return $letter unless @$attachments;
-    my $message = $params->{'message'};
-
-    # First, we have to put the body in as the first attachment
-    $message->attach(
-        Type => $letter->{'content-type'} || 'TEXT',
-        Data => $letter->{'is_html'}
-            ? _wrap_html($letter->{'content'}, $letter->{'title'})
-            : $letter->{'content'},
-    );
+
+    my $message = Koha::Email->new;
+
+    if ( $letter->{is_html} ) {
+        $message->html_body( _wrap_html( $letter->{content}, $letter->{title} ) );
+    }
+    else {
+        $message->text_body( $letter->{content} );
+    }
 
     foreach my $attachment ( @$attachments ) {
         $message->attach(
-            Type     => $attachment->{'type'},
-            Data     => $attachment->{'content'},
-            Filename => $attachment->{'filename'},
+            Encode::encode( "UTF-8", $attachment->{content} ),
+            content_type => $attachment->{type} || 'application/octet-stream',
+            name         => $attachment->{filename},
+            disposition  => 'attachment',
         );
     }
-    # we're forcing list context here to get the header, not the count back from grep.
-    ( $letter->{'content-type'} ) = grep( /^Content-Type:/, split( /\n/, $params->{'message'}->header_as_string ) );
-    $letter->{'content-type'} =~ s/^Content-Type:\s+//;
-    $letter->{'content'} = $message->body_as_string;
+
+    $letter->{'content-type'} = SERIALIZED_EMAIL_CONTENT_TYPE;
+    $letter->{content} = $message->as_string;
 
     return $letter;
 
@@ -1296,8 +1232,11 @@ sub _add_attachments {
   This function's parameter hash reference takes the following
   optional named parameters:
    message_transport_type: method of message sending (e.g. email, sms, etc.)
+                           Can be a single string, or an arrayref of strings
    borrowernumber        : who the message is to be sent
    letter_code           : type of message being sent (e.g. PASSWORD_RESET)
+                           Can be a single string, or an arrayref of strings
+   message_id            : the message_id of the message. In that case the sub will return only 1 result
    limit                 : maximum number of messages to send
 
   This function returns an array of matching hash referenced rows from
@@ -1310,7 +1249,7 @@ sub _get_unsent_messages {
 
     my $dbh = C4::Context->dbh();
     my $statement = qq{
-        SELECT mq.message_id, mq.borrowernumber, mq.subject, mq.content, mq.message_transport_type, mq.status, mq.time_queued, mq.from_address, mq.to_address, mq.content_type, b.branchcode, mq.letter_code
+        SELECT mq.message_id, mq.borrowernumber, mq.subject, mq.content, mq.message_transport_type, mq.status, mq.time_queued, mq.from_address, mq.reply_address, mq.to_address, mq.content_type, b.branchcode, mq.letter_code, mq.failure_code
         FROM message_queue mq
         LEFT JOIN borrowers b ON b.borrowernumber = mq.borrowernumber
         WHERE status = ?
@@ -1318,21 +1257,29 @@ sub _get_unsent_messages {
 
     my @query_params = ('pending');
     if ( ref $params ) {
-        if ( $params->{'message_transport_type'} ) {
-            $statement .= ' AND mq.message_transport_type = ? ';
-            push @query_params, $params->{'message_transport_type'};
-        }
         if ( $params->{'borrowernumber'} ) {
             $statement .= ' AND mq.borrowernumber = ? ';
             push @query_params, $params->{'borrowernumber'};
         }
         if ( $params->{'letter_code'} ) {
-            $statement .= ' AND mq.letter_code = ? ';
-            push @query_params, $params->{'letter_code'};
+            my @letter_codes = ref $params->{'letter_code'} eq "ARRAY" ? @{$params->{'letter_code'}} : $params->{'letter_code'};
+            if ( @letter_codes ) {
+                my $q = join( ",", ("?") x @letter_codes );
+                $statement .= " AND mq.letter_code IN ( $q ) ";
+                push @query_params, @letter_codes;
+            }
+        }
+        if ( $params->{'message_transport_type'} ) {
+            my @types = ref $params->{'message_transport_type'} eq "ARRAY" ? @{$params->{'message_transport_type'}} : $params->{'message_transport_type'};
+            if ( @types ) {
+                my $q = join( ",", ("?") x @types );
+                $statement .= " AND message_transport_type IN ( $q ) ";
+                push @query_params, @types;
+            }
         }
-        if ( $params->{'type'} ) {
-            $statement .= ' AND message_transport_type = ? ';
-            push @query_params, $params->{'type'};
+        if ( $params->{message_id} ) {
+            $statement .= ' AND message_id = ?';
+            push @query_params, $params->{message_id};
         }
         if ( $params->{'limit'} ) {
             $statement .= ' limit ? ';
@@ -1340,8 +1287,6 @@ sub _get_unsent_messages {
         }
     }
 
-    $debug and warn "_get_unsent_messages SQL: $statement";
-    $debug and warn "_get_unsent_messages params: " . join(',',@query_params);
     my $sth = $dbh->prepare( $statement );
     my $result = $sth->execute( @query_params );
     return $sth->fetchall_arrayref({});
@@ -1356,65 +1301,165 @@ sub _send_message_by_email {
     unless ($to_address) {
         unless ($patron) {
             warn "FAIL: No 'to_address' and INVALID borrowernumber ($message->{borrowernumber})";
-            _set_message_status( { message_id => $message->{'message_id'},
-                                   status     => 'failed' } );
+            _set_message_status(
+                {
+                    message_id   => $message->{'message_id'},
+                    status       => 'failed',
+                    failure_code => 'INVALID_BORNUMBER'
+                }
+            );
             return;
         }
         $to_address = $patron->notice_email_address;
         unless ($to_address) {  
             # warn "FAIL: No 'to_address' and no email for " . ($member->{surname} ||'') . ", borrowernumber ($message->{borrowernumber})";
             # warning too verbose for this more common case?
-            _set_message_status( { message_id => $message->{'message_id'},
-                                   status     => 'failed' } );
+            _set_message_status(
+                {
+                    message_id   => $message->{'message_id'},
+                    status       => 'failed',
+                    failure_code => 'NO_EMAIL'
+                }
+            );
             return;
         }
     }
 
-    my $utf8   = decode('MIME-Header', $message->{'subject'} );
-    $message->{subject}= encode('MIME-Header', $utf8);
-    my $subject = encode('UTF-8', $message->{'subject'});
-    my $content = encode('UTF-8', $message->{'content'});
+    my $subject = $message->{'subject'};
+
+    my $content = $message->{'content'};
     my $content_type = $message->{'content_type'} || 'text/plain; charset="UTF-8"';
     my $is_html = $content_type =~ m/html/io;
+
     my $branch_email = undef;
     my $branch_replyto = undef;
     my $branch_returnpath = undef;
+    my $library;
+
     if ($patron) {
-        my $library = $patron->library;
-        $branch_email      = $library->branchemail;
+        $library           = $patron->library;
+        $branch_email      = $library->from_email_address;
         $branch_replyto    = $library->branchreplyto;
         $branch_returnpath = $library->branchreturnpath;
     }
-    my $email = Koha::Email->new();
-    my %sendmail_params = $email->create_message_headers(
-        {
-            to      => $to_address,
-            from    => $message->{'from_address'} || $branch_email,
-            replyto => $branch_replyto,
-            sender  => $branch_returnpath,
-            subject => $subject,
-            message => $is_html ? _wrap_html( $content, $subject ) : $content,
-            contenttype => $content_type
+
+    # NOTE: Patron may not be defined above so branch_email may be undefined still
+    # so we need to fallback to KohaAdminEmailAddress as a last resort.
+    my $from_address =
+         $message->{'from_address'}
+      || $branch_email
+      || C4::Context->preference('KohaAdminEmailAddress');
+    if( !$from_address ) {
+        _set_message_status(
+            {
+                message_id   => $message->{'message_id'},
+                status       => 'failed',
+                failure_code => 'NO_FROM',
+            }
+        );
+        return;
+    };
+    my $email;
+
+    try {
+
+        my $params = {
+            to => $to_address,
+            (
+                C4::Context->preference('NoticeBcc')
+                ? ( bcc => C4::Context->preference('NoticeBcc') )
+                : ()
+            ),
+            from     => $from_address,
+            reply_to => $message->{'reply_address'} || $branch_replyto,
+            sender   => $branch_returnpath,
+            subject  => "" . $message->{subject}
+        };
+
+        if ( $message->{'content_type'} && $message->{'content_type'} eq SERIALIZED_EMAIL_CONTENT_TYPE ) {
+
+            # The message has been previously composed as a valid MIME object
+            # and serialized as a string on the DB
+            $email = Koha::Email->new_from_string($content);
+            $email->create($params);
+        } else {
+            $email = Koha::Email->create($params);
+            if ($is_html) {
+                $email->html_body( _wrap_html( $content, $subject ) );
+            } else {
+                $email->text_body($content);
+            }
         }
-    );
+    }
+    catch {
+        if ( ref($_) eq 'Koha::Exceptions::BadParameter' ) {
+            _set_message_status(
+                {
+                    message_id   => $message->{'message_id'},
+                    status       => 'failed',
+                    failure_code => "INVALID_EMAIL:".$_->parameter
+                }
+            );
+        } else {
+            _set_message_status(
+                {
+                    message_id   => $message->{'message_id'},
+                    status       => 'failed',
+                    failure_code => 'UNKNOWN_ERROR'
+                }
+            );
+        }
+        return 0;
+    };
+    return unless $email;
 
-    $sendmail_params{'Auth'} = {user => $username, pass => $password, method => $method} if $username;
-    if ( my $bcc = C4::Context->preference('NoticeBcc') ) {
-       $sendmail_params{ Bcc } = $bcc;
+    my $smtp_server;
+    if ( $library ) {
+        $smtp_server = $library->smtp_server;
+    }
+    else {
+        $smtp_server = Koha::SMTP::Servers->get_default;
     }
 
-    _update_message_to_address($message->{'message_id'},$to_address) unless $message->{to_address}; #if initial message address was empty, coming here means that a to address was found and queue should be updated
+    if ( $username ) {
+        $smtp_server->set(
+            {
+                sasl_username => $username,
+                sasl_password => $password,
+            }
+        );
+    }
 
-    if ( Mail::Sendmail::sendmail( %sendmail_params ) ) {
-        _set_message_status( { message_id => $message->{'message_id'},
-                status     => 'sent' } );
+# if initial message address was empty, coming here means that a to address was found and
+# queue should be updated; same if to address was overriden by Koha::Email->create
+    _update_message_to_address( $message->{'message_id'}, $email->email->header('To') )
+      if !$message->{to_address}
+      || $message->{to_address} ne $email->email->header('To');
+
+    try {
+        $email->send_or_die({ transport => $smtp_server->transport });
+
+        _set_message_status(
+            {
+                message_id => $message->{'message_id'},
+                status     => 'sent',
+                failure_code => ''
+            }
+        );
         return 1;
-    } else {
-        _set_message_status( { message_id => $message->{'message_id'},
-                status     => 'failed' } );
-        carp $Mail::Sendmail::error;
-        return;
     }
+    catch {
+        _set_message_status(
+            {
+                message_id => $message->{'message_id'},
+                status     => 'failed',
+                failure_code => 'SENDMAIL'
+            }
+        );
+        carp "$_";
+        carp "$Mail::Sendmail::error";
+        return;
+    };
 }
 
 sub _wrap_html {
@@ -1447,7 +1492,7 @@ sub _is_duplicate {
         WHERE message_transport_type = ?
         AND borrowernumber = ?
         AND letter_code = ?
-        AND CAST(time_queued AS date) = CAST(NOW() AS date)
+        AND CAST(updated_on AS date) = CAST(NOW() AS date)
         AND status="sent"
         AND content = ?
     |, {}, $message->{message_transport_type}, $message->{borrowernumber}, $message->{letter_code}, $message->{content} );
@@ -1457,24 +1502,52 @@ sub _is_duplicate {
 sub _send_message_by_sms {
     my $message = shift or return;
     my $patron = Koha::Patrons->find( $message->{borrowernumber} );
+    _update_message_to_address($message->{message_id}, $patron->smsalertnumber) if $patron;
 
     unless ( $patron and $patron->smsalertnumber ) {
         _set_message_status( { message_id => $message->{'message_id'},
-                               status     => 'failed' } );
+                               status     => 'failed',
+                               failure_code => 'MISSING_SMS' } );
         return;
     }
 
     if ( _is_duplicate( $message ) ) {
-        _set_message_status( { message_id => $message->{'message_id'},
-                               status     => 'failed' } );
+        _set_message_status(
+            {
+                message_id   => $message->{'message_id'},
+                status       => 'failed',
+                failure_code => 'DUPLICATE_MESSAGE'
+            }
+        );
         return;
     }
 
-    my $success = C4::SMS->send_sms( { destination => $patron->smsalertnumber,
-                                       message     => $message->{'content'},
-                                     } );
-    _set_message_status( { message_id => $message->{'message_id'},
-                           status     => ($success ? 'sent' : 'failed') } );
+    my $success = C4::SMS->send_sms(
+        {
+            destination => $patron->smsalertnumber,
+            message     => $message->{'content'},
+        }
+    );
+
+    if ($success) {
+        _set_message_status(
+            {
+                message_id   => $message->{'message_id'},
+                status       => 'sent',
+                failure_code => ''
+            }
+        );
+    }
+    else {
+        _set_message_status(
+            {
+                message_id   => $message->{'message_id'},
+                status       => 'failed',
+                failure_code => 'NO_NOTES'
+            }
+        );
+    }
+
     return $success;
 }
 
@@ -1484,6 +1557,12 @@ sub _update_message_to_address {
     $dbh->do('UPDATE message_queue SET to_address=? WHERE message_id=?',undef,($to,$id));
 }
 
+sub _update_message_from_address {
+    my ($message_id, $from_address) = @_;
+    my $dbh = C4::Context->dbh();
+    $dbh->do('UPDATE message_queue SET from_address = ? WHERE message_id = ?', undef, ($from_address, $message_id));
+}
+
 sub _set_message_status {
     my $params = shift or return;
 
@@ -1492,9 +1571,10 @@ sub _set_message_status {
     }
 
     my $dbh = C4::Context->dbh();
-    my $statement = 'UPDATE message_queue SET status= ? WHERE message_id = ?';
+    my $statement = 'UPDATE message_queue SET status= ?, failure_code= ? WHERE message_id = ?';
     my $sth = $dbh->prepare( $statement );
     my $result = $sth->execute( $params->{'status'},
+                                $params->{'failure_code'} || '',
                                 $params->{'message_id'} );
     return $result;
 }
@@ -1502,10 +1582,21 @@ sub _set_message_status {
 sub _process_tt {
     my ( $params ) = @_;
 
-    my $content = $params->{content};
-    my $tables = $params->{tables};
-    my $loops = $params->{loops};
+    my $content    = $params->{content};
+    my $tables     = $params->{tables};
+    my $loops      = $params->{loops};
+    my $objects    = $params->{objects} || {};
     my $substitute = $params->{substitute} || {};
+    my $lang = defined($params->{lang}) && $params->{lang} ne 'default' ? $params->{lang} : 'en';
+    my ($theme, $availablethemes);
+
+    my $htdocs = C4::Context->config('intrahtdocs');
+    ($theme, $lang, $availablethemes)= C4::Templates::availablethemes( $htdocs, 'about.tt', 'intranet', $lang);
+    my @includes;
+    foreach (@$availablethemes) {
+        push @includes, "$htdocs/$_/$lang/includes";
+        push @includes, "$htdocs/$_/en/includes" unless $lang eq 'en';
+    }
 
     my $use_template_cache = C4::Context->config('template_cache_dir') && defined $ENV{GATEWAY_INTERFACE};
     my $template           = Template->new(
@@ -1515,18 +1606,27 @@ sub _process_tt {
             PLUGIN_BASE  => 'Koha::Template::Plugin',
             COMPILE_EXT  => $use_template_cache ? '.ttc' : '',
             COMPILE_DIR  => $use_template_cache ? C4::Context->config('template_cache_dir') : '',
+            INCLUDE_PATH => \@includes,
             FILTERS      => {},
             ENCODING     => 'UTF-8',
         }
     ) or die Template->error();
 
-    my $tt_params = { %{ _get_tt_params( $tables ) }, %{ _get_tt_params( $loops, 'is_a_loop' ) }, %$substitute };
+    my $tt_params = { %{ _get_tt_params( $tables ) }, %{ _get_tt_params( $loops, 'is_a_loop' ) }, %$substitute, %$objects };
 
     $content = add_tt_filters( $content );
     $content = qq|[% USE KohaDates %][% USE Remove_MARC_punctuation %]$content|;
 
     my $output;
-    $template->process( \$content, $tt_params, \$output ) || croak "ERROR PROCESSING TEMPLATE: " . $template->error();
+    my $schema = Koha::Database->new->schema;
+    $schema->txn_begin;
+    my $processed = try {
+        $template->process( \$content, $tt_params, \$output );
+    }
+    finally {
+        $schema->txn_rollback;
+    };
+    croak "ERROR PROCESSING TEMPLATE: " . $template->error() unless $processed;
 
     return $output;
 }
@@ -1543,7 +1643,13 @@ sub _get_tt_params {
             singular => 'article_request',
             plural   => 'article_requests',
             pk       => 'id',
-          },
+        },
+        aqbasket => {
+            module   => 'Koha::Acquisition::Baskets',
+            singular => 'basket',
+            plural   => 'baskets',
+            pk       => 'basketno',
+        },
         biblio => {
             module   => 'Koha::Biblios',
             singular => 'biblio',
@@ -1568,14 +1674,32 @@ sub _get_tt_params {
             plural   => 'branches',
             pk       => 'branchcode',
         },
+        credits => {
+            module => 'Koha::Account::Lines',
+            singular => 'credit',
+            plural => 'credits',
+            pk => 'accountlines_id',
+        },
+        debits => {
+            module => 'Koha::Account::Lines',
+            singular => 'debit',
+            plural => 'debits',
+            pk => 'accountlines_id',
+        },
         items => {
             module   => 'Koha::Items',
             singular => 'item',
             plural   => 'items',
             pk       => 'itemnumber',
         },
+        additional_contents => {
+            module   => 'Koha::AdditionalContents',
+            singular => 'additional_content',
+            plural   => 'additional_contents',
+            pk       => 'idnew',
+        },
         opac_news => {
-            module   => 'Koha::News',
+            module   => 'Koha::AdditionalContents',
             singular => 'news',
             plural   => 'news',
             pk       => 'idnew',
@@ -1590,7 +1714,7 @@ sub _get_tt_params {
             module   => 'Koha::Holds',
             singular => 'hold',
             plural   => 'holds',
-            fk       => [ 'borrowernumber', 'biblionumber' ],
+            pk       => 'reserve_id',
         },
         serial => {
             module   => 'Koha::Serials',
@@ -1620,7 +1744,7 @@ sub _get_tt_params {
             module   => 'Koha::Old::Checkouts',
             singular => 'old_checkout',
             plural   => 'old_checkouts',
-            fk       => 'itemnumber',
+            pk       => 'issue_id',
         },
         overdues => {
             module   => 'Koha::Checkouts',
@@ -1634,6 +1758,12 @@ sub _get_tt_params {
             plural   => 'patron_modifications',
             fk       => 'verification_token',
         },
+        illrequests => {
+            module   => 'Koha::Illrequests',
+            singular => 'illrequest',
+            plural   => 'illrequests',
+            pk       => 'illrequest_id'
+        }
     };
 
     foreach my $table ( keys %$tables ) {