koha-dev.rot13.org Git - koha_gimpoz/blob - updater/updatedatabase

   1 #!/usr/bin/perl
   2
   3 # $Id$
   4
   5 # Database Updater
   6 # This script checks for required updates to the database.
   7
   8 # Part of the Koha Library Software www.koha.org
   9 # Licensed under the GPL.
  10
  11 # Bugs/ToDo:
  12 # - Would also be a good idea to offer to do a backup at this time...
  13
  14 # NOTE:  If you do something more than once in here, make it table driven.
  15 use strict;
  16
  17 # CPAN modules
  18 use DBI;
  19 use Getopt::Long;
  20 # Koha modules
  21 use C4::Context;
  22
  23 use MARC::Record;
  24 use MARC::File::XML ( BinaryEncoding => 'utf8' );
  25
  26 # FIXME - The user might be installing a new database, so can't rely
  27 # on /etc/koha.conf anyway.
  28
  29 my $debug = 0;
  30
  31 my (
  32     $sth, $sti,
  33     $query,
  34     %existingtables,    # tables already in database
  35     %types,
  36     $table,
  37     $column,
  38     $type, $null, $key, $default, $extra,
  39     $prefitem,          # preference item in systempreferences table
  40 );
  41
  42 my $silent;
  43 GetOptions(
  44         's' =>\$silent
  45         );
  46 my $dbh = C4::Context->dbh;
  47 print "connected to your DB. Checking & modifying it\n" unless $silent;
  48 $|=1; # flushes output
  49
  50 #-------------------
  51 # Defines
  52
  53 # Tables to add if they don't exist
  54 my %requiretables = (
  55     categorytable       => "(categorycode char(5) NOT NULL default '',
  56                              description text default '',
  57                              itemtypecodes text default '',
  58                              PRIMARY KEY (categorycode)
  59                             )",
  60     subcategorytable       => "(subcategorycode char(5) NOT NULL default '',
  61                              description text default '',
  62                              itemtypecodes text default '',
  63                              PRIMARY KEY (subcategorycode)
  64                             )",
  65     mediatypetable       => "(mediatypecode char(5) NOT NULL default '',
  66                              description text default '',
  67                              itemtypecodes text default '',
  68                              PRIMARY KEY (mediatypecode)
  69                             )",
  70     action_logs         => "(
  71                                     `timestamp` TIMESTAMP NOT NULL ,
  72                                     `user` INT( 11 ) NOT NULL ,
  73                                     `module` TEXT default '',
  74                                     `action` TEXT default '' ,
  75                                     `object` INT(11) default '' ,
  76                                     `info` TEXT default '' ,
  77                                     PRIMARY KEY ( `timestamp` , `user` )
  78                             )",
  79         letter          => "(
  80                                         module varchar(20) NOT NULL default '',
  81                                         code varchar(20) NOT NULL default '',
  82                                         name varchar(100) NOT NULL default '',
  83                                         title varchar(200) NOT NULL default '',
  84                                         content text,
  85                                         PRIMARY KEY  (module,code)
  86                                 )",
  87         alert           =>"(
  88                                         alertid int(11) NOT NULL auto_increment,
  89                                         borrowernumber int(11) NOT NULL default '0',
  90                                         type varchar(10) NOT NULL default '',
  91                                         externalid varchar(20) NOT NULL default '',
  92                                         PRIMARY KEY  (alertid),
  93                                         KEY borrowernumber (borrowernumber),
  94                                         KEY type (type,externalid)
  95                                 )",
  96         opac_news => "(
  97                                 `idnew` int(10) unsigned NOT NULL auto_increment,
  98                                 `title` varchar(250) NOT NULL default '',
  99                                 `new` text NOT NULL,
 100                                 `lang` varchar(4) NOT NULL default '',
 101                                 `timestamp` timestamp NOT NULL default CURRENT_TIMESTAMP,
 102                                 PRIMARY KEY  (`idnew`)
 103                                 )",
 104         repeatable_holidays => "(
 105                                 `id` int(11) NOT NULL auto_increment,
 106                                 `branchcode` varchar(4) NOT NULL default '',
 107                                 `weekday` smallint(6) default NULL,
 108                                 `day` smallint(6) default NULL,
 109                                 `month` smallint(6) default NULL,
 110                                 `title` varchar(50) NOT NULL default '',
 111                                 `description` text NOT NULL,
 112                                 PRIMARY KEY  (`id`)
 113                                 )",
 114         special_holidays => "(
 115                                 `id` int(11) NOT NULL auto_increment,
 116                                 `branchcode` varchar(4) NOT NULL default '',
 117                                 `day` smallint(6) NOT NULL default '0',
 118                                 `month` smallint(6) NOT NULL default '0',
 119                                 `year` smallint(6) NOT NULL default '0',
 120                                 `isexception` smallint(1) NOT NULL default '1',
 121                                 `title` varchar(50) NOT NULL default '',
 122                                 `description` text NOT NULL,
 123                                 PRIMARY KEY  (`id`)
 124                                 )",
 125         overduerules    =>"(`branchcode` varchar(255) NOT NULL default '',
 126                                         `categorycode` char(2) NOT NULL default '',
 127                                         `delay1` int(4) default '0',
 128                                         `letter1` varchar(20) default NULL,
 129                                         `debarred1` char(1) default '0',
 130                                         `delay2` int(4) default '0',
 131                                         `debarred2` char(1) default '0',
 132                                         `letter2` varchar(20) default NULL,
 133                                         `delay3` int(4) default '0',
 134                                         `letter3` varchar(20) default NULL,
 135                                         `debarred3` int(1) default '0',
 136                                         PRIMARY KEY  (`branchcode`,`categorycode`)
 137                                         )",
 138         cities                  => "(`cityid` int auto_increment,
 139                                                 `city_name` char(100) NOT NULL,
 140                                                 `city_zipcode` char(20),
 141                                                 PRIMARY KEY (`cityid`)
 142                                         )",
 143         roadtype                        => "(`roadtypeid` int auto_increment,
 144                                                 `road_type` char(100) NOT NULL,
 145                                                 PRIMARY KEY (`roadtypeid`)
 146                                         )",
 147
 148         labels                     => "(
 149                                 labelid int(11) NOT NULL auto_increment,
 150                                 itemnumber varchar(100) NOT NULL default '',
 151                                 timestamp timestamp(14) NOT NULL,
 152                                 PRIMARY KEY  (labelid)
 153                                 )",
 154
 155         labels_conf                => "(
 156                                 id int(4) NOT NULL auto_increment,
 157                                 barcodetype char(100) default '',
 158                                 title tinyint(1) default '0',
 159                                 isbn tinyint(1) default '0',
 160                                 itemtype tinyint(1) default '0',
 161                                 barcode tinyint(1) default '0',
 162                                 dewey tinyint(1) default '0',
 163                                 class tinyint(1) default '0',
 164                                 author tinyint(1) default '0',
 165                                 papertype char(100) default '',
 166                                 startrow int(2) default NULL,
 167                                 PRIMARY KEY  (id)
 168                                 )",
 169        reviews                  => "(
 170                                 reviewid integer NOT NULL auto_increment,
 171                                 borrowernumber integer,
 172                                 biblionumber integer,
 173                                 review text,
 174                                 approved tinyint,
 175                                 datereviewed datetime,
 176                                 PRIMARY KEY (reviewid)
 177                                 )",
 178        borrowers_to_borrowers  => "(
 179                                 borrower1 integer,
 180                                 borrower2 integer
 181                                 )",
 182
 183 );
 184
 185 my %requirefields = (
 186         subscription => { 'letter' => 'char(20) NULL', 'distributedto' => 'text NULL'},
 187         itemtypes => { 'imageurl' => 'char(200) NULL'},
 188         aqbookfund => { 'branchcode' => 'varchar(4) NULL'},
 189         aqbudget => { 'branchcode' => 'varchar(4) NULL'},
 190         auth_header => { 'marc' => 'BLOB NOT NULL', 'linkid' => 'BIGINT(20) NULL'},
 191         auth_subfield_structure =>{ 'hidden' => 'TINYINT(3) NOT NULL UNSIGNED ZEROFILL', 'kohafield' => 'VARCHAR(45) NOT NULL', 'linkid' =>  'TINYINT(1) NOT NULL UNSIGNED', 'isurl' => 'TINYINT(1) UNSIGNED'},
 192         statistics => { 'associatedborrower' => 'integer'},
 193 #    tablename        => { 'field' => 'fieldtype' },
 194 );
 195
 196 my %dropable_table = (
 197         sessionqueries  => 'sessionqueries',
 198         marcrecorddone  => 'marcrecorddone',
 199         users                   => 'users',
 200         itemsprices             => 'itemsprices',
 201         biblioanalysis  => 'biblioanalysis',
 202         borexp                  => 'borexp',
 203 # tablename => 'tablename',
 204 );
 205
 206 my %uselessfields = (
 207 # tablename => "field1,field2",
 208         borrowers => "suburb,altstreetaddress,altsuburb,altcity,studentnumber,school,area,preferredcont,altcp",
 209         deletedborrowers=> "suburb,altstreetaddress,altsuburb,altcity,studentnumber,school,area,preferredcont,altcp",
 210         );
 211 # the other hash contains other actions that can't be done elsewhere. they are done
 212 # either BEFORE of AFTER everything else, depending on "when" entry (default => AFTER)
 213
 214 # The tabledata hash contains data that should be in the tables.
 215 # The uniquefieldrequired hash entry is used to determine which (if any) fields
 216 # must not exist in the table for this row to be inserted.  If the
 217 # uniquefieldrequired entry is already in the table, the existing data is not
 218 # modified, unless the forceupdate hash entry is also set.  Fields in the
 219 # anonymous "forceupdate" hash will be forced to be updated to the default
 220 # values given in the %tabledata hash.
 221
 222 my %tabledata = (
 223 # tablename => [
 224 #       {       uniquefielrequired => 'fieldname', # the primary key in the table
 225 #               fieldname => fieldvalue,
 226 #               fieldname2 => fieldvalue2,
 227 #       },
 228 # ],
 229     systempreferences => [
 230                 {
 231             uniquefieldrequired => 'variable',
 232             variable            => 'Activate_Log',
 233             value               => 'On',
 234             forceupdate         => { 'explanation' => 1,
 235                                      'type' => 1},
 236             explanation         => 'Turn Log Actions on DB On an Off',
 237             type                => 'YesNo',
 238         },
 239         {
 240             uniquefieldrequired => 'variable',
 241             variable            => 'IndependantBranches',
 242             value               => 0,
 243             forceupdate         => { 'explanation' => 1,
 244                                      'type' => 1},
 245             explanation         => 'Turn Branch independancy management On an Off',
 246             type                => 'YesNo',
 247         },
 248                 {
 249             uniquefieldrequired => 'variable',
 250             variable            => 'ReturnBeforeExpiry',
 251             value               => 'Off',
 252             forceupdate         => { 'explanation' => 1,
 253                                      'type' => 1},
 254             explanation         => 'If Yes, Returndate on issuing can\'t be after borrower card expiry',
 255             type                => 'YesNo',
 256         },
 257         {
 258             uniquefieldrequired => 'variable',
 259             variable            => 'opacstylesheet',
 260             value               => '',
 261             forceupdate         => { 'explanation' => 1,
 262                                      'type' => 1},
 263             explanation         => 'Enter a complete URL to use an alternate stylesheet in OPAC',
 264             type                => 'free',
 265         },
 266         {
 267             uniquefieldrequired => 'variable',
 268             variable            => 'opacsmallimage',
 269             value               => '',
 270             forceupdate         => { 'explanation' => 1,
 271                                      'type' => 1},
 272             explanation         => 'Enter a complete URL to an image, will be on top/left instead of the Koha logo',
 273             type                => 'free',
 274         },
 275         {
 276             uniquefieldrequired => 'variable',
 277             variable            => 'opaclargeimage',
 278             value               => '',
 279             forceupdate         => { 'explanation' => 1,
 280                                      'type' => 1},
 281             explanation         => 'Enter a complete URL to an image, will be on the main page, instead of the Koha logo',
 282             type                => 'free',
 283         },
 284         {
 285             uniquefieldrequired => 'variable',
 286             variable            => 'delimiter',
 287             value               => ';',
 288             forceupdate         => { 'explanation' => 1,
 289                                      'type' => 1},
 290             explanation         => 'separator for reports exported to spreadsheet',
 291             type                => 'free',
 292         },
 293         {
 294             uniquefieldrequired => 'variable',
 295             variable            => 'MIME',
 296             value               => 'OPENOFFICE.ORG',
 297             forceupdate         => { 'explanation' => 1,
 298                                      'type' => 1,
 299                                      'options' => 1},
 300             explanation         => 'Define the default application for report exportations into files',
 301                 type            => 'Choice',
 302                 options         => 'EXCEL|OPENOFFICE.ORG'
 303         },
 304         {
 305             uniquefieldrequired => 'variable',
 306             variable            => 'Delimiter',
 307             value               => ';',
 308                 forceupdate             => { 'explanation' => 1,
 309                                      'type' => 1,
 310                                      'options' => 1},
 311             explanation         => 'Define the default separator character for report exportations into files',
 312                 type            => 'Choice',
 313                 options         => ';|tabulation|,|/|\|#'
 314         },
 315         {
 316             uniquefieldrequired => 'variable',
 317             variable            => 'SubscriptionHistory',
 318             value               => ';',
 319                 forceupdate             => { 'explanation' => 1,
 320                                      'type' => 1,
 321                                      'options' => 1},
 322             explanation         => 'Define the information level for serials history in OPAC',
 323                 type            => 'Choice',
 324                 options         => 'simplified|full'
 325         },
 326         {
 327             uniquefieldrequired => 'variable',
 328             variable            => 'hidelostitems',
 329             value               => 'No',
 330             forceupdate         => { 'explanation' => 1,
 331                                      'type' => 1},
 332             explanation         => 'show or hide "lost" items in OPAC.',
 333             type                => 'YesNo',
 334         },
 335                  {
 336             uniquefieldrequired => 'variable',
 337             variable            => 'IndependantBranches',
 338             value               => '0',
 339             forceupdate         => { 'explanation' => 1,
 340                                      'type' => 1},
 341             explanation         => 'Turn Branch independancy management On an Off',
 342             type                => 'YesNo',
 343         },
 344                 {
 345             uniquefieldrequired => 'variable',
 346             variable            => 'ReturnBeforeExpiry',
 347             value               => '0',
 348             forceupdate         => { 'explanation' => 1,
 349                                      'type' => 1},
 350             explanation         => 'If Yes, Returndate on issuing can\'t be after borrower card expiry',
 351             type                => 'YesNo',
 352         },
 353         {
 354             uniquefieldrequired => 'variable',
 355             variable            => 'Disable_Dictionary',
 356             value               => '0',
 357             forceupdate         => { 'explanation' => 1,
 358                                      'type' => 1},
 359             explanation         => 'Disables Dictionary buttons if set to yes',
 360             type                => 'YesNo',
 361         },
 362         {
 363             uniquefieldrequired => 'variable',
 364             variable            => 'hide_marc',
 365             value               => '0',
 366             forceupdate         => { 'explanation' => 1,
 367                                      'type' => 1},
 368             explanation         => 'hide marc specific datas like subfield code & indicators to library',
 369             type                => 'YesNo',
 370         },
 371         {
 372             uniquefieldrequired => 'variable',
 373             variable            => 'NotifyBorrowerDeparture',
 374             value               => '0',
 375             forceupdate         => { 'explanation' => 1,
 376                                      'type' => 1},
 377             explanation         => 'Delay before expiry where a notice is sent when issuing',
 378             type                => 'Integer',
 379         },
 380         {
 381             uniquefieldrequired => 'variable',
 382             variable            => 'OpacPasswordChange',
 383             value               => '1',
 384             forceupdate         => { 'explanation' => 1,
 385                                      'type' => 1},
 386             explanation         => 'Enable/Disable password change in OPAC (disable it when using LDAP auth)',
 387             type                => 'YesNo',
 388         },
 389         {
 390             uniquefieldrequired => 'variable',
 391             variable            => 'useDaysMode',
 392             value               => 'Calendar',
 393             forceupdate         => { 'explanation' => 1,
 394                                      'type' => 1},
 395             explanation                 => 'How to calculate return dates : Calendar means holidays will be controled, Days means the return date don\'t depend on holidays',
 396                 type            => 'Choice',
 397                 options         => 'Calendar|Days'
 398         },
 399         {
 400             uniquefieldrequired => 'variable',
 401             variable            => 'borrowerMandatoryField',
 402             value               => 'zipcode|surname',
 403             forceupdate         => { 'explanation' => 1,
 404                                      'type' => 1},
 405             explanation         => 'List all mandatory fields for borrowers',
 406             type                => 'free',
 407         },
 408         {
 409             uniquefieldrequired => 'variable',
 410             variable            => 'borrowerRelationship',
 411             value               => 'father|mother,grand-mother',
 412             forceupdate         => { 'explanation' => 1,
 413                                      'type' => 1},
 414             explanation         => 'The relationships between a guarantor & a guarantee (separated by | or ,)',
 415             type                => 'free',
 416         },
 417         {
 418             uniquefieldrequired => 'variable',
 419             variable            => 'ReservesMaxPickUpDelay',
 420             value               => '10',
 421             forceupdate         => { 'explanation' => 1,
 422                                      'type' => 1},
 423             explanation         => 'Maximum delay to pick up a reserved document',
 424             type                => 'free',
 425         },
 426         {
 427             uniquefieldrequired => 'variable',
 428             variable            => 'TransfersMaxDaysWarning',
 429             value               => '3',
 430             forceupdate         => { 'explanation' => 1,
 431                                      'type' => 1},
 432             explanation         => 'Max delay before considering the transfer has potentialy a problem',
 433             type                => 'free',
 434         },
 435         {
 436             uniquefieldrequired => 'variable',
 437             variable            => 'memberofinstitution',
 438             value               => '0',
 439             forceupdate         => { 'explanation' => 1,
 440                                      'type' => 1},
 441             explanation         => 'Are your patrons members of institutions',
 442             type                => 'YesNo',
 443         },
 444         {
 445             uniquefieldrequired => 'variable',
 446             variable            => 'ReadingHistory',
 447             value               => '0',
 448             forceupdate         => { 'explanation' => 1,
 449                                      'type' => 1},
 450             explanation         => 'Allow reading record info retrievable from issues and oldissues tables',
 451             type                => 'YesNo',
 452         },
 453         {
 454             uniquefieldrequired => 'variable',
 455             variable            => 'IssuingInProcess',
 456             value               => '0',
 457             forceupdate         => { 'explanation' => 1,
 458                                      'type' => 1},
 459             explanation         => 'Allow no debt alert if the patron is issuing item that accumulate debt',
 460             type                => 'YesNo',
 461         },
 462         {
 463             uniquefieldrequired => 'variable',
 464             variable            => 'AutomaticItemReturn',
 465             value               => '1',
 466             forceupdate         => { 'explanation' => 1,
 467                                      'type' => 1},
 468             explanation         => 'This Variable allow or not to return automaticly to his homebranch',
 469             type                => 'YesNo',
 470         },
 471         {
 472             uniquefieldrequired => 'variable',
 473             variable            => 'reviewson',
 474             value               => '0',
 475             forceupdate         => { 'explanation' => 1,
 476                                      'type' => 1},
 477             explanation         => 'Allows patrons to submit reviews from the opac',
 478             type                => 'YesNo',
 479         },
 480     ],
 481
 482 );
 483
 484 my %fielddefinitions = (
 485 # fieldname => [
 486 #       {                 field => 'fieldname',
 487 #             type    => 'fieldtype',
 488 #             null    => '',
 489 #             key     => '',
 490 #             default => ''
 491 #         },
 492 #     ],
 493         serial => [
 494         {
 495             field   => 'notes',
 496             type    => 'TEXT',
 497             null    => 'NULL',
 498             key     => '',
 499             default => '',
 500             extra   => ''
 501         },
 502     ],
 503         aqbasket =>  [
 504                 {
 505                         field   => 'booksellerid',
 506                         type    => 'int(11)',
 507                         null    => 'NOT NULL',
 508                         key             => '',
 509                         default => '1',
 510                         extra   => '',
 511                 },
 512         ],
 513         aqbooksellers =>  [
 514                 {
 515                         field   => 'listprice',
 516                         type    => 'varchar(10)',
 517                         null    => 'NULL',
 518                         key             => '',
 519                         default => '',
 520                         extra   => '',
 521                 },
 522                 {
 523                         field   => 'invoiceprice',
 524                         type    => 'varchar(10)',
 525                         null    => 'NULL',
 526                         key             => '',
 527                         default => '',
 528                         extra   => '',
 529                 },
 530         ],
 531         issues =>  [
 532                 {
 533                         field   => 'borrowernumber',
 534                         type    => 'int(11)',
 535                         null    => 'NULL', # can be null when a borrower is deleted and the foreign key rule executed
 536                         key             => '',
 537                         default => '',
 538                         extra   => '',
 539                 },
 540                 {
 541                         field   => 'itemnumber',
 542                         type    => 'int(11)',
 543                         null    => 'NULL', # can be null when a borrower is deleted and the foreign key rule executed
 544                         key             => '',
 545                         default => '',
 546                         extra   => '',
 547                 },
 548         ],
 549         borrowers => [
 550                 {       field => 'B_email',
 551                         type => 'text',
 552                         null => 'NULL',
 553                         after => 'B_zipcode',
 554                  },
 555                  {
 556                         field => 'streetnumber', # street number (hidden if streettable table is empty)
 557                         type => 'char(10)',
 558                         null => 'NULL',
 559                         after => 'initials',
 560                 },
 561                 {
 562                         field => 'streettype', # street table, list builded from a system table
 563                         type => 'char(50)',
 564                         null => 'NULL',
 565                         after => 'streetnumber',
 566                 },
 567                  {
 568                         field => 'B_streetnumber', # street number (hidden if streettable table is empty)
 569                         type => 'char(10)',
 570                         null => 'NULL',
 571                         after => 'fax',
 572                 },
 573                 {
 574                         field => 'B_streettype', # street table, list builded from a system table
 575                         type => 'char(50)',
 576                         null => 'NULL',
 577                         after => 'B_streetnumber',
 578                 },
 579                 {
 580                         field => 'phonepro',
 581                         type => 'text',
 582                         null => 'NULL',
 583                         after => 'fax',
 584                 },
 585                 {
 586                         field => 'address2', # complement address
 587                         type => 'text',
 588                         null => 'NULL',
 589                         after => 'address',
 590                 },
 591                 {
 592                         field => 'emailpro',
 593                         type => 'text',
 594                         null => 'NULL',
 595                         after => 'fax',
 596                 },
 597                 {
 598                         field => 'contactfirstname', # contact's firstname
 599                         type => 'text',
 600                         null => 'NULL',
 601                         after => 'contactname',
 602                 },
 603                 {
 604                         field => 'contacttitle', # contact's title
 605                         type => 'text',
 606                         null => 'NULL',
 607                         after => 'contactfirstname',
 608                 },
 609         ],
 610
 611         deletedborrowers => [
 612                 {       field => 'B_email',
 613                         type => 'text',
 614                         null => 'NULL',
 615                         after => 'B_zipcode',
 616                  },
 617                  {
 618                         field => 'streetnumber', # street number (hidden if streettable table is empty)
 619                         type => 'char(10)',
 620                         null => 'NULL',
 621                         after => 'initials',
 622                 },
 623                 {
 624                         field => 'streettype', # street table, list builded from a system table
 625                         type => 'char(50)',
 626                         null => 'NULL',
 627                         after => 'streetnumber',
 628                 },
 629                  {
 630                         field => 'B_streetnumber', # street number (hidden if streettable table is empty)
 631                         type => 'char(10)',
 632                         null => 'NULL',
 633                         after => 'fax',
 634                 },
 635                 {
 636                         field => 'B_streettype', # street table, list builded from a system table
 637                         type => 'char(50)',
 638                         null => 'NULL',
 639                         after => 'B_streetnumber',
 640                 },
 641                 {
 642                         field => 'phonepro',
 643                         type => 'text',
 644                         null => 'NULL',
 645                         after => 'fax',
 646                 },
 647                 {
 648                         field => 'address2', # complement address
 649                         type => 'text',
 650                         null => 'NULL',
 651                         after => 'address',
 652                 },
 653                 {
 654                         field => 'emailpro',
 655                         type => 'text',
 656                         null => 'NULL',
 657                         after => 'fax',
 658                 },
 659                 {
 660                         field => 'contactfirstname', # contact's firstname
 661                         type => 'text',
 662                         null => 'NULL',
 663                         after => 'contactname',
 664                 },
 665                 {
 666                         field => 'contacttitle', # contact's title
 667                         type => 'text',
 668                         null => 'NULL',
 669                         after => 'contactfirstname',
 670                 },
 671         ],
 672
 673         branches =>  [
 674                 {
 675                         field   => 'branchip',
 676                         type    => 'varchar(15)',
 677                         null    => 'NULL',
 678                         key             => '',
 679                         default => '',
 680                         extra   => '',
 681                 },
 682                 {
 683                         field   => 'branchprinter',
 684                         type    => 'varchar(100)',
 685                         null    => 'NULL',
 686                         key             => '',
 687                         default => '',
 688                         extra   => '',
 689                 },
 690         ],
 691         categories =>  [
 692                 {
 693                         field   => 'category_type',
 694                         type    => 'char(1)',
 695                         null    => 'NOT NULL',
 696                         key             => '',
 697                         default => 'A',
 698                         extra   => '',
 699                 },
 700         ],
 701         reserves =>  [
 702                 {
 703                         field   => 'waitingdate',
 704                         type    => 'date',
 705                         null    => 'NULL',
 706                         key             => '',
 707                         default => '',
 708                         extra   => '',
 709                 },
 710         ],
 711 );
 712
 713 my %indexes = (
 714 #       table => [
 715 #               {       indexname => 'index detail'
 716 #               }
 717 #       ],
 718         shelfcontents => [
 719                 {       indexname => 'shelfnumber',
 720                         content => 'shelfnumber',
 721                 },
 722                 {       indexname => 'itemnumber',
 723                         content => 'itemnumber',
 724                 }
 725         ],
 726         bibliosubject => [
 727                 {       indexname => 'biblionumber',
 728                         content => 'biblionumber',
 729                 }
 730         ],
 731         items => [
 732                 {       indexname => 'homebranch',
 733                         content => 'homebranch',
 734                 },
 735                 {       indexname => 'holdingbranch',
 736                         content => 'holdingbranch',
 737                 }
 738         ],
 739         aqbooksellers => [
 740                 {       indexname => 'PRIMARY',
 741                         content => 'id',
 742                         type => 'PRIMARY',
 743                 }
 744         ],
 745         aqbasket => [
 746                 {       indexname => 'booksellerid',
 747                         content => 'booksellerid',
 748                 },
 749         ],
 750         aqorders => [
 751                 {       indexname => 'basketno',
 752                         content => 'basketno',
 753                 },
 754         ],
 755         aqorderbreakdown => [
 756                 {       indexname => 'ordernumber',
 757                         content => 'ordernumber',
 758                 },
 759                 {       indexname => 'bookfundid',
 760                         content => 'bookfundid',
 761                 },
 762         ],
 763         currency => [
 764                 {       indexname => 'PRIMARY',
 765                         content => 'currency',
 766                         type => 'PRIMARY',
 767                 }
 768         ],
 769 );
 770
 771 my %foreign_keys = (
 772 #       table => [
 773 #               {       key => 'the key in table' (must be indexed)
 774 #                       foreigntable => 'the foreigntable name', # (the parent)
 775 #                       foreignkey => 'the foreign key column(s)' # (in the parent)
 776 #                       onUpdate => 'CASCADE|SET NULL|NO ACTION| RESTRICT',
 777 #                       onDelete => 'CASCADE|SET NULL|NO ACTION| RESTRICT',
 778 #               }
 779 #       ],
 780         shelfcontents => [
 781                 {       key => 'shelfnumber',
 782                         foreigntable => 'bookshelf',
 783                         foreignkey => 'shelfnumber',
 784                         onUpdate => 'CASCADE',
 785                         onDelete => 'CASCADE',
 786                 },
 787                 {       key => 'itemnumber',
 788                         foreigntable => 'items',
 789                         foreignkey => 'itemnumber',
 790                         onUpdate => 'CASCADE',
 791                         onDelete => 'CASCADE',
 792                 },
 793         ],
 794         # onDelete is RESTRICT on reference tables (branches, itemtype) as we don't want items to be
 795         # easily deleted, but branches/itemtype not too easy to empty...
 796         biblioitems => [
 797                 {       key => 'biblionumber',
 798                         foreigntable => 'biblio',
 799                         foreignkey => 'biblionumber',
 800                         onUpdate => 'CASCADE',
 801                         onDelete => 'CASCADE',
 802                 },
 803                 {       key => 'itemtype',
 804                         foreigntable => 'itemtypes',
 805                         foreignkey => 'itemtype',
 806                         onUpdate => 'CASCADE',
 807                         onDelete => 'RESTRICT',
 808                 },
 809         ],
 810         items => [
 811                 {       key => 'biblioitemnumber',
 812                         foreigntable => 'biblioitems',
 813                         foreignkey => 'biblioitemnumber',
 814                         onUpdate => 'CASCADE',
 815                         onDelete => 'CASCADE',
 816                 },
 817                 {       key => 'homebranch',
 818                         foreigntable => 'branches',
 819                         foreignkey => 'branchcode',
 820                         onUpdate => 'CASCADE',
 821                         onDelete => 'RESTRICT',
 822                 },
 823                 {       key => 'holdingbranch',
 824                         foreigntable => 'branches',
 825                         foreignkey => 'branchcode',
 826                         onUpdate => 'CASCADE',
 827                         onDelete => 'RESTRICT',
 828                 },
 829         ],
 830         additionalauthors => [
 831                 {       key => 'biblionumber',
 832                         foreigntable => 'biblio',
 833                         foreignkey => 'biblionumber',
 834                         onUpdate => 'CASCADE',
 835                         onDelete => 'CASCADE',
 836                 },
 837         ],
 838         bibliosubject => [
 839                 {       key => 'biblionumber',
 840                         foreigntable => 'biblio',
 841                         foreignkey => 'biblionumber',
 842                         onUpdate => 'CASCADE',
 843                         onDelete => 'CASCADE',
 844                 },
 845         ],
 846         aqbasket => [
 847                 {       key => 'booksellerid',
 848                         foreigntable => 'aqbooksellers',
 849                         foreignkey => 'id',
 850                         onUpdate => 'CASCADE',
 851                         onDelete => 'RESTRICT',
 852                 },
 853         ],
 854         aqorders => [
 855                 {       key => 'basketno',
 856                         foreigntable => 'aqbasket',
 857                         foreignkey => 'basketno',
 858                         onUpdate => 'CASCADE',
 859                         onDelete => 'CASCADE',
 860                 },
 861                 {       key => 'biblionumber',
 862                         foreigntable => 'biblio',
 863                         foreignkey => 'biblionumber',
 864                         onUpdate => 'SET NULL',
 865                         onDelete => 'SET NULL',
 866                 },
 867         ],
 868         aqbooksellers => [
 869                 {       key => 'listprice',
 870                         foreigntable => 'currency',
 871                         foreignkey => 'currency',
 872                         onUpdate => 'CASCADE',
 873                         onDelete => 'CASCADE',
 874                 },
 875                 {       key => 'invoiceprice',
 876                         foreigntable => 'currency',
 877                         foreignkey => 'currency',
 878                         onUpdate => 'CASCADE',
 879                         onDelete => 'CASCADE',
 880                 },
 881         ],
 882         aqorderbreakdown => [
 883                 {       key => 'ordernumber',
 884                         foreigntable => 'aqorders',
 885                         foreignkey => 'ordernumber',
 886                         onUpdate => 'CASCADE',
 887                         onDelete => 'CASCADE',
 888                 },
 889                 {       key => 'bookfundid',
 890                         foreigntable => 'aqbookfund',
 891                         foreignkey => 'bookfundid',
 892                         onUpdate => 'CASCADE',
 893                         onDelete => 'CASCADE',
 894                 },
 895         ],
 896         branchtransfers => [
 897                 {       key => 'frombranch',
 898                         foreigntable => 'branches',
 899                         foreignkey => 'branchcode',
 900                         onUpdate => 'CASCADE',
 901                         onDelete => 'CASCADE',
 902                 },
 903                 {       key => 'tobranch',
 904                         foreigntable => 'branches',
 905                         foreignkey => 'branchcode',
 906                         onUpdate => 'CASCADE',
 907                         onDelete => 'CASCADE',
 908                 },
 909                 {       key => 'itemnumber',
 910                         foreigntable => 'items',
 911                         foreignkey => 'itemnumber',
 912                         onUpdate => 'CASCADE',
 913                         onDelete => 'CASCADE',
 914                 },
 915         ],
 916         issuingrules => [
 917                 {       key => 'categorycode',
 918                         foreigntable => 'categories',
 919                         foreignkey => 'categorycode',
 920                         onUpdate => 'CASCADE',
 921                         onDelete => 'CASCADE',
 922                 },
 923                 {       key => 'itemtype',
 924                         foreigntable => 'itemtypes',
 925                         foreignkey => 'itemtype',
 926                         onUpdate => 'CASCADE',
 927                         onDelete => 'CASCADE',
 928                 },
 929         ],
 930         issues => [     # constraint is SET NULL : when a borrower or an item is deleted, we keep the issuing record
 931         # for stat purposes
 932                 {       key => 'borrowernumber',
 933                         foreigntable => 'borrowers',
 934                         foreignkey => 'borrowernumber',
 935                         onUpdate => 'SET NULL',
 936                         onDelete => 'SET NULL',
 937                 },
 938                 {       key => 'itemnumber',
 939                         foreigntable => 'items',
 940                         foreignkey => 'itemnumber',
 941                         onUpdate => 'SET NULL',
 942                         onDelete => 'SET NULL',
 943                 },
 944         ],
 945         reserves => [
 946                 {       key => 'borrowernumber',
 947                         foreigntable => 'borrowers',
 948                         foreignkey => 'borrowernumber',
 949                         onUpdate => 'CASCADE',
 950                         onDelete => 'CASCADE',
 951                 },
 952                 {       key => 'biblionumber',
 953                         foreigntable => 'biblio',
 954                         foreignkey => 'biblionumber',
 955                         onUpdate => 'CASCADE',
 956                         onDelete => 'CASCADE',
 957                 },
 958                 {       key => 'itemnumber',
 959                         foreigntable => 'items',
 960                         foreignkey => 'itemnumber',
 961                         onUpdate => 'CASCADE',
 962                         onDelete => 'CASCADE',
 963                 },
 964                 {       key => 'branchcode',
 965                         foreigntable => 'branches',
 966                         foreignkey => 'branchcode',
 967                         onUpdate => 'CASCADE',
 968                         onDelete => 'CASCADE',
 969                 },
 970         ],
 971         borrowers => [ # foreign keys are RESTRICT as we don't want to delete borrowers when a branch is deleted
 972         # but prevent deleting a branch as soon as it has 1 borrower !
 973                 {       key => 'categorycode',
 974                         foreigntable => 'categories',
 975                         foreignkey => 'categorycode',
 976                         onUpdate => 'RESTRICT',
 977                         onDelete => 'RESTRICT',
 978                 },
 979                 {       key => 'branchcode',
 980                         foreigntable => 'branches',
 981                         foreignkey => 'branchcode',
 982                         onUpdate => 'RESTRICT',
 983                         onDelete => 'RESTRICT',
 984                 },
 985         ],
 986         deletedborrowers => [ # foreign keys are RESTRICT as we don't want to delete borrowers when a branch is deleted
 987         # but prevent deleting a branch as soon as it has 1 borrower !
 988                 {       key => 'categorycode',
 989                         foreigntable => 'categories',
 990                         foreignkey => 'categorycode',
 991                         onUpdate => 'RESTRICT',
 992                         onDelete => 'RESTRICT',
 993                 },
 994                 {       key => 'branchcode',
 995                         foreigntable => 'branches',
 996                         foreignkey => 'branchcode',
 997                         onUpdate => 'RESTRICT',
 998                         onDelete => 'RESTRICT',
 999                 },
1000         ],
1001         accountlines => [
1002                 {       key => 'borrowernumber',
1003                         foreigntable => 'borrowers',
1004                         foreignkey => 'borrowernumber',
1005                         onUpdate => 'CASCADE',
1006                         onDelete => 'CASCADE',
1007                 },
1008                 {       key => 'itemnumber',
1009                         foreigntable => 'items',
1010                         foreignkey => 'itemnumber',
1011                         onUpdate => 'SET NULL',
1012                         onDelete => 'SET NULL',
1013                 },
1014         ],
1015         auth_tag_structure => [
1016                 {       key => 'authtypecode',
1017                         foreigntable => 'auth_types',
1018                         foreignkey => 'authtypecode',
1019                         onUpdate => 'CASCADE',
1020                         onDelete => 'CASCADE',
1021                 },
1022         ],
1023         # FIXME : don't constraint auth_*_table and auth_word, as they may be replaced by zebra
1024 );
1025
1026
1027 # column changes
1028 my %column_change = (
1029         # table
1030         borrowers => [
1031                                 {
1032                                         from => 'emailaddress',
1033                                         to => 'email',
1034                                         after => 'city',
1035                                 },
1036                                 {
1037                                         from => 'streetaddress',
1038                                         to => 'address',
1039                                         after => 'initials',
1040                                 },
1041                                 {
1042                                         from => 'faxnumber',
1043                                         to => 'fax',
1044                                         after => 'phone',
1045                                 },
1046                                 {
1047                                         from => 'textmessaging',
1048                                         to => 'opacnote',
1049                                         after => 'userid',
1050                                 },
1051                                 {
1052                                         from => 'altnotes',
1053                                         to => 'contactnote',
1054                                         after => 'opacnote',
1055                                 },
1056                                 {
1057                                         from => 'physstreet',
1058                                         to => 'B_address',
1059                                         after => 'fax',
1060                                 },
1061                                 {
1062                                         from => 'streetcity',
1063                                         to => 'B_city',
1064                                         after => 'B_address',
1065                                 },
1066                                 {
1067                                         from => 'phoneday',
1068                                         to => 'mobile',
1069                                         after => 'phone',
1070                                 },
1071                                 {
1072                                         from => 'zipcode',
1073                                         to => 'zipcode',
1074                                         after => 'city',
1075                                 },
1076                                 {
1077                                         from => 'homezipcode',
1078                                         to => 'B_zipcode',
1079                                         after => 'B_city',
1080                                 },
1081                                 {
1082                                         from => 'altphone',
1083                                         to => 'B_phone',
1084                                         after => 'B_zipcode',
1085                                 },
1086                                 {
1087                                         from => 'expiry',
1088                                         to => 'dateexpiry',
1089                                         after => 'dateenrolled',
1090                                 },
1091                                 {
1092                                         from => 'guarantor',
1093                                         to => 'guarantorid',
1094                                         after => 'contactname',
1095                                 },
1096                                 {
1097                                         from => 'textmessaging',
1098                                         to => 'opacnotes',
1099                                         after => 'flags',
1100                                 },
1101                                 {
1102                                         from => 'altnotes',
1103                                         to => 'contactnotes',
1104                                         after => 'opacnotes',
1105                                 },
1106                                 {
1107                                         from => 'altrelationship',
1108                                         to => 'relationship',
1109                                         after => 'borrowernotes',
1110                                 },
1111                         ],
1112
1113         deletedborrowers => [
1114                                 {
1115                                         from => 'emailaddress',
1116                                         to => 'email',
1117                                         after => 'city',
1118                                 },
1119                                 {
1120                                         from => 'streetaddress',
1121                                         to => 'address',
1122                                         after => 'initials',
1123                                 },
1124                                 {
1125                                         from => 'faxnumber',
1126                                         to => 'fax',
1127                                         after => 'phone',
1128                                 },
1129                                 {
1130                                         from => 'textmessaging',
1131                                         to => 'opacnote',
1132                                         after => 'userid',
1133                                 },
1134                                 {
1135                                         from => 'altnotes',
1136                                         to => 'contactnote',
1137                                         after => 'opacnote',
1138                                 },
1139                                 {
1140                                         from => 'physstreet',
1141                                         to => 'B_address',
1142                                         after => 'fax',
1143                                 },
1144                                 {
1145                                         from => 'streetcity',
1146                                         to => 'B_city',
1147                                         after => 'B_address',
1148                                 },
1149                                 {
1150                                         from => 'phoneday',
1151                                         to => 'mobile',
1152                                         after => 'phone',
1153                                 },
1154                                 {
1155                                         from => 'zipcode',
1156                                         to => 'zipcode',
1157                                         after => 'city',
1158                                 },
1159                                 {
1160                                         from => 'homezipcode',
1161                                         to => 'B_zipcode',
1162                                         after => 'B_city',
1163                                 },
1164                                 {
1165                                         from => 'altphone',
1166                                         to => 'B_phone',
1167                                         after => 'B_zipcode',
1168                                 },
1169                                 {
1170                                         from => 'expiry',
1171                                         to => 'dateexpiry',
1172                                         after => 'dateenrolled',
1173                                 },
1174                                 {
1175                                         from => 'guarantor',
1176                                         to => 'guarantorid',
1177                                         after => 'contactname',
1178                                 },
1179                                 {
1180                                         from => 'textmessaging',
1181                                         to => 'opacnotes',
1182                                         after => 'flags',
1183                                 },
1184                                 {
1185                                         from => 'altnotes',
1186                                         to => 'contactnotes',
1187                                         after => 'opacnotes',
1188                                 },
1189                                 {
1190                                         from => 'altrelationship',
1191                                         to => 'relationship',
1192                                         after => 'borrowernotes',
1193                                 },
1194                         ],
1195
1196                 );
1197
1198 foreach my $table (keys %column_change) {
1199         $sth = $dbh->prepare("show columns from $table");
1200         $sth->execute();
1201         undef %types;
1202         while ( ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow )
1203         {
1204                 $types{$column}->{type} ="$type";
1205                 $types{$column}->{null} = "$null";
1206                 $types{$column}->{key} = "$key";
1207                 $types{$column}->{default} = "$default";
1208                 $types{$column}->{extra} = "$extra";
1209         }    # while
1210         my $tablerows = $column_change{$table};
1211         foreach my $row ( @$tablerows ) {
1212                 if ($types{$row->{from}}->{type}) {
1213                         print "altering $table $row->{from} to $row->{to}\n";
1214                         # ALTER TABLE `borrowers` CHANGE `faxnumber` `fax` TEXT CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL
1215 #                       alter table `borrowers` change `faxnumber` `fax` type text  null after phone
1216                         my $sql =
1217                                 "alter table `$table` change `$row->{from}` `$row->{to}` $types{$row->{from}}->{type} ".
1218                                 ($types{$row->{from}}->{null} eq 'YES'?" NULL":" NOT NULL").
1219                                 ($types{$row->{from}}->{default}?" default ".$types{$row->{from}}->{default}:"").
1220                                 "$types{$row->{from}}->{extra} after $row->{after} ";
1221 #                       print "$sql";
1222                         $dbh->do($sql);
1223                 }
1224         }
1225 }
1226
1227 #-------------------
1228 # Initialize
1229
1230 # Start checking
1231
1232 # Get version of MySQL database engine.
1233 my $mysqlversion = `mysqld --version`;
1234 $mysqlversion =~ /Ver (\S*) /;
1235 $mysqlversion = $1;
1236 if ( $mysqlversion ge '3.23' ) {
1237     print "Could convert to MyISAM database tables...\n" unless $silent;
1238 }
1239
1240 #---------------------------------
1241 # Tables
1242
1243 # Collect all tables into a list
1244 $sth = $dbh->prepare("show tables");
1245 $sth->execute;
1246 while ( my ($table) = $sth->fetchrow ) {
1247     $existingtables{$table} = 1;
1248 }
1249
1250
1251 # Now add any missing tables
1252 foreach $table ( keys %requiretables ) {
1253     unless ( $existingtables{$table} ) {
1254         print "Adding $table table...\n" unless $silent;
1255         my $sth = $dbh->prepare("create table $table $requiretables{$table}");
1256         $sth->execute;
1257         if ( $sth->err ) {
1258             print "Error : $sth->errstr \n";
1259             $sth->finish;
1260         }    # if error
1261     }    # unless exists
1262 }    # foreach
1263
1264 # now drop useless tables
1265 foreach $table ( keys %dropable_table ) {
1266         if ( $existingtables{$table} ) {
1267                 print "Dropping unused table $table\n" if $debug and not $silent;
1268                 $dbh->do("drop table $table");
1269                 if ( $dbh->err ) {
1270                         print "Error : $dbh->errstr \n";
1271                 }
1272         }
1273 }
1274
1275 #---------------------------------
1276 # Columns
1277
1278 foreach $table ( keys %requirefields ) {
1279     print "Check table $table\n" if $debug and not $silent;
1280     $sth = $dbh->prepare("show columns from $table");
1281     $sth->execute();
1282     undef %types;
1283     while ( ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow )
1284     {
1285         $types{$column} = $type;
1286     }    # while
1287     foreach $column ( keys %{ $requirefields{$table} } ) {
1288         print "  Check column $column  [$types{$column}]\n" if $debug and not $silent;
1289         if ( !$types{$column} ) {
1290
1291             # column doesn't exist
1292             print "Adding $column field to $table table...\n" unless $silent;
1293             $query = "alter table $table
1294                         add column $column " . $requirefields{$table}->{$column};
1295             print "Execute: $query\n" if $debug;
1296             my $sti = $dbh->prepare($query);
1297             $sti->execute;
1298             if ( $sti->err ) {
1299                 print "**Error : $sti->errstr \n";
1300                 $sti->finish;
1301             }    # if error
1302         }    # if column
1303     }    # foreach column
1304 }    # foreach table
1305
1306 foreach $table ( keys %fielddefinitions ) {
1307         print "Check table $table\n" if $debug;
1308         $sth = $dbh->prepare("show columns from $table");
1309         $sth->execute();
1310         my $definitions;
1311         while ( ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow )
1312         {
1313                 $definitions->{$column}->{type}    = $type;
1314                 $definitions->{$column}->{null}    = $null;
1315                 $definitions->{$column}->{null}    = 'NULL' if $null eq 'YES';
1316                 $definitions->{$column}->{key}     = $key;
1317                 $definitions->{$column}->{default} = $default;
1318                 $definitions->{$column}->{extra}   = $extra;
1319         }    # while
1320         my $fieldrow = $fielddefinitions{$table};
1321         foreach my $row (@$fieldrow) {
1322                 my $field   = $row->{field};
1323                 my $type    = $row->{type};
1324                 my $null    = $row->{null};
1325 #               $null    = 'YES' if $row->{null} eq 'NULL';
1326                 my $key     = $row->{key};
1327                 my $default = $row->{default};
1328                 my $null    = $row->{null};
1329 #               $default="''" unless $default;
1330                 my $extra   = $row->{extra};
1331                 my $def     = $definitions->{$field};
1332                 my $after       = ($row->{after}?" after ".$row->{after}:"");
1333
1334                 unless ( $type eq $def->{type}
1335                         && $null eq $def->{null}
1336                         && $key eq $def->{key}
1337                         && $extra eq $def->{extra} )
1338                 {
1339                         if ( $null eq '' ) {
1340                                 $null = 'NOT NULL';
1341                         }
1342                         if ( $key eq 'PRI' ) {
1343                                 $key = 'PRIMARY KEY';
1344                         }
1345                         unless ( $extra eq 'auto_increment' ) {
1346                                 $extra = '';
1347                         }
1348
1349                         # if it's a new column use "add", if it's an old one, use "change".
1350                         my $action;
1351                         if ($definitions->{$field}->{type}) {
1352                                 $action="change $field"
1353                         } else {
1354                                 $action="add";
1355                         }
1356 # if it's a primary key, drop the previous pk, before altering the table
1357                         my $sth;
1358                         if ($key ne 'PRIMARY KEY') {
1359                                 $sth =$dbh->prepare("alter table $table $action $field $type $null $key $extra default ? $after");
1360                         } else {
1361                                 $sth =$dbh->prepare("alter table $table drop primary key, $action $field $type $null $key $extra default ? $after");
1362                         }
1363                         $sth->execute($default);
1364                         print "  alter or create $field in $table\n" unless $silent;
1365                 }
1366         }
1367 }
1368
1369 # Populate tables with required data
1370
1371
1372 # synch table and deletedtable.
1373 foreach my $table (('borrowers','items','biblio','biblioitems')) {
1374         my %deletedborrowers;
1375         print "synch'ing $table\n";
1376         $sth = $dbh->prepare("show columns from deleted$table");
1377         $sth->execute;
1378         while ( my ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow ) {
1379                 $deletedborrowers{$column}=1;
1380         }
1381         $sth = $dbh->prepare("show columns from $table");
1382         $sth->execute;
1383         my $previous;
1384         while ( my ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow ) {
1385                 unless ($deletedborrowers{$column}) {
1386                         my $newcol="alter table deleted$table add $column $type";
1387                         if ($null eq 'YES') {
1388                                 $newcol .= " NULL ";
1389                         } else {
1390                                 $newcol .= " NOT NULL ";
1391                         }
1392                         $newcol .= "default $default" if $default;
1393                         $newcol .= " after $previous" if $previous;
1394                         $previous=$column;
1395                         print "creating column $column\n";
1396                         $dbh->do($newcol);
1397                 }
1398         }
1399 }
1400
1401 foreach my $table ( keys %tabledata ) {
1402     print "Checking for data required in table $table...\n" unless $silent;
1403     my $tablerows = $tabledata{$table};
1404     foreach my $row (@$tablerows) {
1405         my $uniquefieldrequired = $row->{uniquefieldrequired};
1406         my $uniquevalue         = $row->{$uniquefieldrequired};
1407         my $forceupdate         = $row->{forceupdate};
1408         my $sth                 =
1409           $dbh->prepare(
1410 "select $uniquefieldrequired from $table where $uniquefieldrequired=?"
1411         );
1412         $sth->execute($uniquevalue);
1413                 if ($sth->rows) {
1414                         foreach my $field (keys %$forceupdate) {
1415                                 if ($forceupdate->{$field}) {
1416                                         my $sth=$dbh->prepare("update systempreferences set $field=? where $uniquefieldrequired=?");
1417                                         $sth->execute($row->{$field}, $uniquevalue);
1418                                 }
1419                 }
1420                 } else {
1421                         print "Adding row to $table: " unless $silent;
1422                         my @values;
1423                         my $fieldlist;
1424                         my $placeholders;
1425                         foreach my $field ( keys %$row ) {
1426                                 next if $field eq 'uniquefieldrequired';
1427                                 next if $field eq 'forceupdate';
1428                                 my $value = $row->{$field};
1429                                 push @values, $value;
1430                                 print "  $field => $value" unless $silent;
1431                                 $fieldlist .= "$field,";
1432                                 $placeholders .= "?,";
1433                         }
1434                         print "\n" unless $silent;
1435                         $fieldlist    =~ s/,$//;
1436                         $placeholders =~ s/,$//;
1437                         my $sth =
1438                         $dbh->prepare(
1439                                 "insert into $table ($fieldlist) values ($placeholders)");
1440                         $sth->execute(@values);
1441                 }
1442         }
1443 }
1444
1445 #
1446 # check indexes and create them when needed
1447 #
1448 print "Checking for index required...\n" unless $silent;
1449 foreach my $table ( keys %indexes ) {
1450         #
1451         # read all indexes from $table
1452         #
1453         $sth = $dbh->prepare("show index from $table");
1454         $sth->execute;
1455         my %existingindexes;
1456         while ( my ( $table, $non_unique, $key_name, $Seq_in_index, $Column_name, $Collation, $cardinality, $sub_part, $Packed, $comment ) = $sth->fetchrow ) {
1457                 $existingindexes{$key_name} = 1;
1458         }
1459         # read indexes to check
1460         my $tablerows = $indexes{$table};
1461         foreach my $row (@$tablerows) {
1462                 my $key_name=$row->{indexname};
1463                 if ($existingindexes{$key_name} eq 1) {
1464 #                       print "$key_name existing";
1465                 } else {
1466                         print "\tCreating index $key_name in $table\n";
1467                         my $sql;
1468                         if ($row->{indexname} eq 'PRIMARY') {
1469                                 $sql = "alter table $table ADD PRIMARY KEY ($row->{content})";
1470                         } else {
1471                                 $sql = "alter table $table ADD INDEX $key_name ($row->{content}) $row->{type}";
1472                         }
1473                         $dbh->do($sql);
1474             print "Error $sql : $dbh->err \n" if $dbh->err;
1475                 }
1476         }
1477 }
1478
1479 #
1480 # check foreign keys and create them when needed
1481 #
1482 print "Checking for foreign keys required...\n" unless $silent;
1483 foreach my $table ( keys %foreign_keys ) {
1484         #
1485         # read all indexes from $table
1486         #
1487         $sth = $dbh->prepare("show table status like '$table'");
1488         $sth->execute;
1489         my $stat = $sth->fetchrow_hashref;
1490         # read indexes to check
1491         my $tablerows = $foreign_keys{$table};
1492         foreach my $row (@$tablerows) {
1493                 my $foreign_table=$row->{foreigntable};
1494                 if ($stat->{'Comment'} =~/$foreign_table/) {
1495 #                       print "$foreign_table existing\n";
1496                 } else {
1497                         print "\tCreating foreign key $foreign_table in $table\n";
1498                         # first, drop any orphan value in child table
1499                         if ($row->{onDelete} ne "RESTRICT") {
1500                                 my $sql = "delete from $table where $row->{key} not in (select $row->{foreignkey} from $row->{foreigntable})";
1501                                 $dbh->do($sql);
1502                                 print "SQL ERROR: $sql : $dbh->err \n" if $dbh->err;
1503                         }
1504                         my $sql="alter table $table ADD FOREIGN KEY $row->{key} ($row->{key}) REFERENCES $row->{foreigntable} ($row->{foreignkey})";
1505                         $sql .= " on update ".$row->{onUpdate} if $row->{onUpdate};
1506                         $sql .= " on delete ".$row->{onDelete} if $row->{onDelete};
1507                         $dbh->do($sql);
1508                         if ($dbh->err) {
1509                                 print "====================
1510 An error occured during :
1511 \t$sql
1512 It probably means there is something wrong in your DB : a row ($table.$row->{key}) refers to a value in $row->{foreigntable}.$row->{foreignkey} that does not exist. solve the problem and run updater again (or just the previous SQL statement).
1513 You can find those values with select
1514 \t$table.* from $table where $row->{key} not in (select $row->{foreignkey} from $row->{foreigntable})
1515 ====================\n
1516 ";
1517                         }
1518                 }
1519         }
1520 }
1521
1522 #
1523 # SPECIFIC STUFF
1524 #
1525 #
1526 # create frameworkcode row in biblio table & fill it with marc_biblio.frameworkcode.
1527 #
1528
1529 # 1st, get how many biblio we will have to do...
1530 $sth = $dbh->prepare('select count(*) from marc_biblio');
1531 $sth->execute;
1532 my ($totaltodo) = $sth->fetchrow;
1533
1534 $sth = $dbh->prepare("show columns from biblio");
1535 $sth->execute();
1536 my $definitions;
1537 my $bibliofwexist=0;
1538 while ( ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow ){
1539         $bibliofwexist=1 if $column eq 'frameworkcode';
1540 }
1541 unless ($bibliofwexist) {
1542         print "moving biblioframework to biblio table\n";
1543         $dbh->do('ALTER TABLE `biblio` ADD `frameworkcode` VARCHAR( 4 ) NOT NULL AFTER `biblionumber`');
1544         $sth = $dbh->prepare('select biblionumber,frameworkcode from marc_biblio');
1545         $sth->execute;
1546         my $sth_update = $dbh->prepare('update biblio set frameworkcode=? where biblionumber=?');
1547         my $totaldone=0;
1548         while (my ($biblionumber,$frameworkcode) = $sth->fetchrow) {
1549                 $sth_update->execute($frameworkcode,$biblionumber);
1550                 $totaldone++;
1551                 print "\r$totaldone / $totaltodo" unless ($totaldone % 100);
1552         }
1553         print "\rdone\n";
1554 }
1555
1556 #
1557 # moving MARC data from marc_subfield_table to biblioitems.marc
1558 #
1559 $sth = $dbh->prepare("show columns from biblioitems");
1560 $sth->execute();
1561 my $definitions;
1562 my $marcdone=0;
1563 while ( ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow ){
1564         $marcdone=1 if ($type eq 'blob' && $column eq 'marc') ;
1565 }
1566 unless ($marcdone) {
1567         print "moving MARC record to biblioitems table\n";
1568         # changing marc field type
1569         $dbh->do('ALTER TABLE `biblioitems` CHANGE `marc` `marc` BLOB NULL DEFAULT NULL ');
1570         # adding marc xml, just for convenience
1571         $dbh->do('ALTER TABLE `biblioitems` ADD `marcxml` TEXT CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ');
1572         # moving data from marc_subfield_value to biblio
1573         $sth = $dbh->prepare('select bibid,biblionumber from marc_biblio');
1574         $sth->execute;
1575         my $sth_update = $dbh->prepare('update biblioitems set marc=?, marcxml=? where biblionumber=?');
1576         my $totaldone=0;
1577         while (my ($bibid,$biblionumber) = $sth->fetchrow) {
1578                 my $record = MARCgetbiblio($dbh,$bibid);
1579         #Force UTF-8 in record leader
1580                 $record->encoding('UTF-8');
1581                 print $record->as_formatted if ($biblionumber==3902);
1582                 $sth_update->execute($record->as_usmarc(),$record->as_xml_record(),$biblionumber);
1583                 $totaldone++;
1584                 print "\r$totaldone / $totaltodo" unless ($totaldone % 100);
1585         }
1586         print "\rdone\n";
1587 }
1588
1589
1590 # at last, remove useless fields
1591 foreach $table ( keys %uselessfields ) {
1592         my @fields = split /,/,$uselessfields{$table};
1593         my $fields;
1594         my $exists;
1595         foreach my $fieldtodrop (@fields) {
1596                 $fieldtodrop =~ s/\t//g;
1597                 $fieldtodrop =~ s/\n//g;
1598                 $exists =0;
1599                 $sth = $dbh->prepare("show columns from $table");
1600                 $sth->execute;
1601                 while ( my ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow )
1602                 {
1603                         $exists =1 if ($column eq $fieldtodrop);
1604                 }
1605                 if ($exists) {
1606                         print "deleting $fieldtodrop field in $table...\n" unless $silent;
1607                         my $sth = $dbh->prepare("alter table $table drop $fieldtodrop");
1608                         $sth->execute;
1609                 }
1610         }
1611 }    # foreach
1612
1613
1614 # MOVE all tables TO UTF-8 and innoDB
1615 $sth = $dbh->prepare("show table status");
1616 $sth->execute;
1617 while ( my $table = $sth->fetchrow_hashref ) {
1618 #       if ($table->{Engine} ne 'InnoDB') {
1619 #               $dbh->do("ALTER TABLE $table->{Name} TYPE = innodb");
1620 #               print "moving $table->{Name} to InnoDB\n";
1621 #       }
1622         unless ($table->{Collation} =~ /^utf8/) {
1623                 $dbh->do("ALTER TABLE $table->{Name} CONVERT TO CHARACTER SET utf8");
1624                 $dbh->do("ALTER TABLE $table->{Name} DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci");
1625                 # FIXME : maybe a ALTER TABLE tbl_name CONVERT TO CHARACTER SET utf8 would be better, def char set seems to work fine. If any problem encountered, let's try with convert !
1626                 print "moving $table->{Name} to utf8\n";
1627         } else {
1628         }
1629 }
1630
1631 $sth->finish;
1632
1633 #
1634 # those 2 subs are a copy of Biblio.pm, version 2.2.4
1635 # they are useful only once, for moving from 2.2 to 3.0
1636 # the MARCgetbiblio & MARCgetitem subs in Biblio.pm
1637 # are still here, but uses other tables
1638 # (the ones that are filled by updatedatabase !)
1639 #
1640
1641 sub MARCgetbiblio {
1642
1643     # Returns MARC::Record of the biblio passed in parameter.
1644     my ( $dbh, $bibid ) = @_;
1645     my $record = MARC::Record->new();
1646 #       warn "". $bidid;
1647
1648     my $sth =
1649       $dbh->prepare(
1650 "select bibid,subfieldid,tag,tagorder,tag_indicator,subfieldcode,subfieldorder,subfieldvalue,valuebloblink
1651                                  from marc_subfield_table
1652                                  where bibid=? order by tag,tagorder,subfieldorder
1653                          "
1654     );
1655     my $sth2 =
1656       $dbh->prepare(
1657         "select subfieldvalue from marc_blob_subfield where blobidlink=?");
1658     $sth->execute($bibid);
1659     my $prevtagorder = 1;
1660     my $prevtag      = 'XXX';
1661     my $previndicator;
1662     my $field;        # for >=10 tags
1663     my $prevvalue;    # for <10 tags
1664     while ( my $row = $sth->fetchrow_hashref ) {
1665
1666         if ( $row->{'valuebloblink'} ) {    #---- search blob if there is one
1667             $sth2->execute( $row->{'valuebloblink'} );
1668             my $row2 = $sth2->fetchrow_hashref;
1669             $sth2->finish;
1670             $row->{'subfieldvalue'} = $row2->{'subfieldvalue'};
1671         }
1672         if ( $row->{tagorder} ne $prevtagorder || $row->{tag} ne $prevtag ) {
1673             $previndicator .= "  ";
1674             if ( $prevtag < 10 ) {
1675                                 if ($prevtag ne '000') {
1676                         $record->add_fields( ( sprintf "%03s", $prevtag ), $prevvalue ) unless $prevtag eq "XXX";    # ignore the 1st loop
1677                                 } else {
1678                                         $record->leader(sprintf("%24s",$prevvalue));
1679                                 }
1680             }
1681             else {
1682                 $record->add_fields($field) unless $prevtag eq "XXX";
1683             }
1684             undef $field;
1685             $prevtagorder  = $row->{tagorder};
1686             $prevtag       = $row->{tag};
1687             $previndicator = $row->{tag_indicator};
1688             if ( $row->{tag} < 10 ) {
1689                 $prevvalue = $row->{subfieldvalue};
1690             }
1691             else {
1692                 $field = MARC::Field->new(
1693                     ( sprintf "%03s", $prevtag ),
1694                     substr( $row->{tag_indicator} . '  ', 0, 1 ),
1695                     substr( $row->{tag_indicator} . '  ', 1, 1 ),
1696                     $row->{'subfieldcode'},
1697                     $row->{'subfieldvalue'}
1698                 );
1699             }
1700         }
1701         else {
1702             if ( $row->{tag} < 10 ) {
1703                 $record->add_fields( ( sprintf "%03s", $row->{tag} ),
1704                     $row->{'subfieldvalue'} );
1705             }
1706             else {
1707                 $field->add_subfields( $row->{'subfieldcode'},
1708                     $row->{'subfieldvalue'} );
1709             }
1710             $prevtag       = $row->{tag};
1711             $previndicator = $row->{tag_indicator};
1712         }
1713     }
1714
1715     # the last has not been included inside the loop... do it now !
1716     if ( $prevtag ne "XXX" )
1717     { # check that we have found something. Otherwise, prevtag is still XXX and we
1718          # must return an empty record, not make MARC::Record fail because we try to
1719          # create a record with XXX as field :-(
1720         if ( $prevtag < 10 ) {
1721             $record->add_fields( $prevtag, $prevvalue );
1722         }
1723         else {
1724
1725             #           my $field = MARC::Field->new( $prevtag, "", "", %subfieldlist);
1726             $record->add_fields($field);
1727         }
1728     }
1729     return $record;
1730 }
1731
1732 sub MARCgetitem {
1733
1734     # Returns MARC::Record of the biblio passed in parameter.
1735     my ( $dbh, $bibid, $itemnumber ) = @_;
1736     my $record = MARC::Record->new();
1737
1738     # search MARC tagorder
1739     my $sth2 =
1740       $dbh->prepare(
1741 "select tagorder from marc_subfield_table,marc_subfield_structure where marc_subfield_table.tag=marc_subfield_structure.tagfield and marc_subfield_table.subfieldcode=marc_subfield_structure.tagsubfield and bibid=? and kohafield='items.itemnumber' and subfieldvalue=?"
1742     );
1743     $sth2->execute( $bibid, $itemnumber );
1744     my ($tagorder) = $sth2->fetchrow_array();
1745
1746     #---- TODO : the leader is missing
1747     my $sth =
1748       $dbh->prepare(
1749 "select bibid,subfieldid,tag,tagorder,tag_indicator,subfieldcode,subfieldorder,subfieldvalue,valuebloblink
1750                                  from marc_subfield_table
1751                                  where bibid=? and tagorder=? order by subfieldcode,subfieldorder
1752                          "
1753     );
1754     $sth2 =
1755       $dbh->prepare(
1756         "select subfieldvalue from marc_blob_subfield where blobidlink=?");
1757     $sth->execute( $bibid, $tagorder );
1758     while ( my $row = $sth->fetchrow_hashref ) {
1759         if ( $row->{'valuebloblink'} ) {    #---- search blob if there is one
1760             $sth2->execute( $row->{'valuebloblink'} );
1761             my $row2 = $sth2->fetchrow_hashref;
1762             $sth2->finish;
1763             $row->{'subfieldvalue'} = $row2->{'subfieldvalue'};
1764         }
1765         if ( $record->field( $row->{'tag'} ) ) {
1766             my $field;
1767
1768 #--- this test must stay as this, because of strange behaviour of mySQL/Perl DBI with char var containing a number...
1769             #--- sometimes, eliminates 0 at beginning, sometimes no ;-\\\
1770             if ( length( $row->{'tag'} ) < 3 ) {
1771                 $row->{'tag'} = "0" . $row->{'tag'};
1772             }
1773             $field = $record->field( $row->{'tag'} );
1774             if ($field) {
1775                 my $x =
1776                   $field->add_subfields( $row->{'subfieldcode'},
1777                     $row->{'subfieldvalue'} );
1778                 $record->delete_field($field);
1779                 $record->add_fields($field);
1780             }
1781         }
1782         else {
1783             if ( length( $row->{'tag'} ) < 3 ) {
1784                 $row->{'tag'} = "0" . $row->{'tag'};
1785             }
1786             my $temp =
1787               MARC::Field->new( $row->{'tag'}, " ", " ",
1788                 $row->{'subfieldcode'} => $row->{'subfieldvalue'} );
1789             $record->add_fields($temp);
1790         }
1791
1792     }
1793     return $record;
1794 }
1795
1796
1797 exit;
1798
1799 # $Log$
1800 # Revision 1.149  2006/06/20 22:35:47  rangi
1801 # Code to allow the associated borrowers to work
1802 #
1803 # Revision 1.148  2006/06/17 22:12:01  rangi
1804 # Adding id field to reviews table
1805 #
1806 # Revision 1.147  2006/06/17 03:36:41  rangi
1807 # Table definition for the reviews table
1808 #
1809 # Revision 1.146  2006/06/17 03:29:41  rangi
1810 # Variable to allow librarians to switch reviews on or off
1811 #
1812 # Revision 1.145  2006/06/16 09:45:02  btoumi
1813 # updatedatabase.pl: add change of borrowers table to deletedborrowers table
1814 # deletemem.pl: delete use of warn function
1815 #
1816 # Revision 1.144  2006/06/08 15:36:31  alaurin
1817 # Add a new system preference 'AutomaticItemReturn' :
1818 #
1819 # if this prefence is switched on: the document returned in another library than homebranch, the system automaticly transfer the document to his homebranch (with notification for librarian in returns.tmpl) .
1820 #
1821 # switch off : the document stay in the holdingbranch ...
1822 #
1823 # correcting bugs :
1824 # - comment C4::acquisition (not using in request.pl).
1825 # - correcting date in request.pl
1826 # -add the new call of function getbranches in request.pl
1827 #
1828 # Revision 1.143  2006/06/07 02:02:47  bob_lyon
1829 # merging katipo changes...
1830 #
1831 # adding new preference IssuingInProcess
1832 #
1833 # Revision 1.142  2006/06/06 23:42:46  bob_lyon
1834 # Merging Katipo changes...
1835 #
1836 # Adding new system pref where one can still retrieve a correct reading
1837 # record history if one has moved older data from issues to oldissues table
1838 # to speed up issues speed
1839 #
1840 # Revision 1.141  2006/06/01 03:18:11  rangi
1841 # Adding a new column to the statistics table
1842 #
1843 # Revision 1.140  2006/05/22 22:40:45  rangi
1844 # Adding new systempreference allowing for the library to add borrowers to institutions (rest homes, parishes, schools, classes etc).
1845 #
1846 # Revision 1.139  2006/05/19 19:31:29  tgarip1957
1847 # Added new fields to auth_header and auth_subfield_table to allow ZEBRA use of authorities and new MARC framework like structure.
1848 # Authority tables are modified to be compatible with new MARC frameworks. This change is part of Authority Linking & Zebra authorities. Requires change in Mysql database. It will break head unless all changes regarding this is implemented. This warning will take place on all commits regarding this
1849 #
1850 # Revision 1.138  2006/05/19 16:51:44  alaurin
1851 # update database for :
1852 # - new feature ip and printer management
1853 # adding two fields in branches table (branchip,branchprinter)
1854 #
1855 # - waiting date : adding one field in reserves table(waiting date) to calculate the Maximum delay to pick up a reserved document when it's available
1856 #
1857 # new system preference :
1858 # - ReservesMaxPickUpDelay : Maximum delay to pick up a reserved document
1859 # TransfersMaxDaysWarning : Max delay before considering the transfer as potentialy a problem
1860 #
1861 # Revision 1.137  2006/04/18 09:36:36  plg
1862 # bug fixed: typo fixed in labels and labels_conf tables creation query.
1863 #
1864 # Revision 1.136  2006/04/17 21:55:33  sushi
1865 # Added 'labels' and 'labels_conf' tables, for spine lable tool.
1866 #
1867 # Revision 1.135  2006/04/15 02:37:03  tgarip1957
1868 # Marc record should be set to UTF-8 in leader.Force it.
1869 # XML should be with<record> wrappers
1870 #
1871 # Revision 1.134  2006/04/14 09:37:29  tipaul
1872 # improvements from SAN Ouest Provence :
1873 # * introducing a category_type into categories. It can be A (adult), C (children), P (Professionnal), I (institution/organisation).
1874 # * each category_type has it's own forms to create members.
1875 # * the borrowers table has been heavily modified (many fields changed), to get something more logic & readable
1876 # * reintroducing guarantor/guanrantee system that is now independant from hardcoded C/A for categories
1877 # * updating templates to fit template rules
1878 #
1879 # (see mail feb, 17 on koha-devel "new features for borrowers" for more details)
1880 #
1881 # Revision 1.133  2006/04/13 08:36:42  plg
1882 # new: function C4::Date::get_date_format_string_for_DHTMLcalendar based on
1883 # the system preference prefered date format.
1884 #
1885 # improvement: book fund list and budget list screen redesigned. Filters on
1886 # each field. Columns are not sortable yet. Using DHTML Calendar to fill date
1887 # fields instead of manual filling. Pagination system. From the book fund
1888 # list, you can reach the budget list, filtered on a book fund, or not. A
1889 # budget can be added only from book fund list screen.
1890 #
1891 # bug fixed: branchcode was missing in table aqbudget.
1892 #
1893 # bug fixed: when setting a branchcode to a book fund, all associated budgets
1894 # move to this branchcode.
1895 #
1896 # modification: when adding/modifying budget/fund, MySQL specific "REPLACE..."
1897 # statements replaced by standard SQL compliant statement.
1898 #
1899 # bug fixed: when adding/modifying a budget, if the book fund is associated to
1900 # a branch, the branch selection is disabled and set to the book fund branch.
1901 #
1902 # Revision 1.132  2006/04/06 12:37:05  hdl
1903 # Bugfixing : aqbookfund needed a field.
1904 #
1905 # Revision 1.131  2006/03/03 17:02:22  tipaul
1906 # commit for holidays and news management.
1907 # (some forgotten files)
1908 #
1909 # Revision 1.130  2006/03/03 16:35:21  tipaul
1910 # commit for holidays and news management.
1911 #
1912 # Contrib from Tümer Garip (from Turkey) :
1913 # * holiday :
1914 # in /tools/ the holiday.pl script let you define holidays (days where the library is closed), branch by branch. You can define 3 types of holidays :
1915 # - single day : only this day is closed
1916 # - repet weekly (like "sunday") : the day is holiday every week
1917 # - repet yearly (like "July, 4") : this day is closed every year.
1918 #
1919 # You can also put exception :
1920 # - sunday is holiday, but "2006 March, 5th" the library will be open
1921 #
1922 # The holidays are used for return date calculation : the return date is set to the next date where the library is open. A systempreference (useDaysMode) set ON (Calendar) or OFF (Normal) the calendar calculation.
1923 #
1924 # Revision 1.129  2006/02/27 18:19:33  hdl
1925 # New table used in overduerules.pl tools page.
1926 #
1927 # Revision 1.128  2006/01/25 15:16:06  tipaul
1928 # updating DB :
1929 # * removing useless tables
1930 # * adding useful indexes
1931 # * altering some columns definitions
1932 # * The goal being to have updater working fine for foreign keys.
1933 #
1934 # For me it's done, let me know if it works for you. You can see an updated schema of the DB (with constraints) on the wiki
1935 #
1936 # Revision 1.127  2006/01/24 17:57:17  tipaul
1937 # DB improvements : adding foreign keys on some tables. partial stuff done.
1938 #
1939 # Revision 1.126  2006/01/06 16:39:42  tipaul
1940 # synch'ing head and rel_2_2 (from 2.2.5, including npl templates)
1941 # Seems not to break too many things, but i'm probably wrong here.
1942 # at least, new features/bugfixes from 2.2.5 are here (tested on some features on my head local copy)
1943 #
1944 # - removing useless directories (koha-html and koha-plucene)
1945 #
1946 # Revision 1.125  2006/01/04 15:54:55  tipaul
1947 # utf8 is a : go for beta test in HEAD.
1948 # some explanations :
1949 # - updater/updatedatabase => will transform all tables in innoDB (not related to utf8, just to warn you) AND collate them in utf8 / utf8_general_ci. The SQL command is : ALTER TABLE tablename DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci.
1950 # - *-top.inc will show the pages in utf8
1951 # - THE HARD THING : for me, mysql-client and mysql-server were set up to communicate in iso8859-1, whatever the mysql collation ! Thus, pages were improperly shown, as datas were transmitted in iso8859-1 format ! After a full day of investigation, someone on usenet pointed "set NAMES 'utf8'" to explain that I wanted utf8. I could put this in my.cnf, but if I do that, ALL databases will "speak" in utf8, that's not what we want. Thus, I added a line in Context.pm : everytime a DB handle is opened, the communication is set to utf8.
1952 # - using marcxml field and no more the iso2709 raw marc biblioitems.marc field.
1953 #
1954 # Revision 1.124  2005/10/27 12:09:05  tipaul
1955 # new features for serial module :
1956 # - the last 5 issues are now shown, and their status can be changed (but not reverted to "waited", as there can be only one "waited")
1957 # - the library can create a "distribution list". this paper contains a list of borrowers (selected from the borrower list, or manually entered), and print it for a given issue. once printed, the sheet can be put on the issue and distributed to every reader on the list (one by one).
1958 #
1959 # Revision 1.123  2005/10/26 09:13:37  tipaul
1960 # big commit, still breaking things...
1961 #
1962 # * synch with rel_2_2. Probably the last non manual synch, as rel_2_2 should not be modified deeply.
1963 # * code cleaning (cleaning warnings from perl -w) continued
1964 #
1965 # Revision 1.122  2005/09/02 14:18:38  tipaul
1966 # new feature : image for itemtypes.
1967 #
1968 # * run updater/updatedatabase to create imageurl field in itemtypes.
1969 # * go to Koha >> parameters >> itemtypes >> modify (or add) an itemtype. You will see around 20 nice images to choose between (thanks to owen). If you prefer your own image, you also can type a complete url (http://www.myserver.lib/path/to/my/image.gif)
1970 # * go to OPAC, and search something. In the result list, you now have the picture instead of the text itemtype.
1971 #
1972 # Revision 1.121  2005/08/24 08:49:03  hdl
1973 # Adding a note field in serial table.
1974 # This will allow librarian to mention a note on a peculiar waiting serial number.
1975 #
1976 # Revision 1.120  2005/08/09 14:10:32  tipaul
1977 # 1st commit to go to zebra.
1978 # don't update your cvs if you want to have a working head...
1979 #
1980 # this commit contains :
1981 # * updater/updatedatabase : get rid with marc_* tables, but DON'T remove them. As a lot of things uses them, it would not be a good idea for instance to drop them. If you really want to play, you can rename them to test head without them but being still able to reintroduce them...
1982 # * Biblio.pm : modify MARCgetbiblio to find the raw marc record in biblioitems.marc field, not from marc_subfield_table, modify MARCfindframeworkcode to find frameworkcode in biblio.frameworkcode, modify some other subs to use biblio.biblionumber & get rid of bibid.
1983 # * other files : get rid of bibid and use biblionumber instead.
1984 #
1985 # What is broken :
1986 # * does not do anything on zebra yet.
1987 # * if you rename marc_subfield_table, you can't search anymore.
1988 # * you can view a biblio & bibliodetails, go to MARC editor, but NOT save any modif.
1989 # * don't try to add a biblio, it would add data poorly... (don't try to delete either, it may work, but that would be a surprise ;-) )
1990 #
1991 # IMPORTANT NOTE : you need MARC::XML package (http://search.cpan.org/~esummers/MARC-XML-0.7/lib/MARC/File/XML.pm), that requires a recent version of MARC::Record
1992 # Updatedatabase stores the iso2709 data in biblioitems.marc field & an xml version in biblioitems.marcxml Not sure we will keep it when releasing the stable version, but I think it's a good idea to have something readable in sql, at least for development stage.
1993 #
1994 # Revision 1.119  2005/08/04 16:07:58  tipaul
1995 # Synch really broke this script...
1996 #
1997 # Revision 1.118  2005/08/04 16:02:55  tipaul
1998 # oops... error in synch between 2.2 and head
1999 #
2000 # Revision 1.117  2005/08/04 14:24:39  tipaul
2001 # synch'ing 2.2 and head
2002 #
2003 # Revision 1.116  2005/08/04 08:55:54  tipaul
2004 # Letters / alert system, continuing...
2005 #
2006 # * adding a package Letters.pm, that manages Letters & alerts.
2007 # * adding feature : it's now possible to define a "letter" for any subscription created. If a letter is defined, users in OPAC can put an alert on the subscription. When an issue is marked "arrived", all users in the alert will recieve a mail (as defined in the "letter"). This last part (= send the mail) is not yet developped. (Should be done this week)
2008 # * adding feature : it's now possible to "put to an alert" in OPAC, for any serial subscription. The alert is stored in a new table, called alert. An alert can be put only if the librarian has activated them in subscription (and they activate it just by choosing a "letter" to sent to borrowers on new issues)
2009 # * adding feature : librarian can see in borrower detail which alerts they have put, and a user can see in opac-detail which alert they have put too.
2010 #
2011 # Note that the system should be generic enough to manage any type of alert.
2012 # I plan to extend it soon to virtual shelves : a borrower will be able to put an alert on a virtual shelf, to be warned when something is changed in the virtual shelf (mail being sent once a day by cron, or manually by the shelf owner. Anyway, a mail won't be sent on every change, users would be spammed by Koha ;-) )
2013 #
2014 # Revision 1.115  2005/08/02 16:15:34  tipaul
2015 # adding 2 fields to letter system :
2016 # * module (acquisition, catalogue...) : it will be usefull to show the librarian only letters he may be interested by.
2017 # * title, that will be used as mail subject.
2018 #
2019 # Revision 1.114  2005/07/28 15:10:13  tipaul
2020 # Introducing new "Letters" system : Letters will be used everytime you want to sent something to someone (through mail or paper). For example, sending a mail for overdues use letter that you can put as parameters. Sending a mail to a borrower when a suggestion is validated uses a letter too.
2021 # the letter table contains 3 fields :
2022 # * code => the code of the letter
2023 # * name => the complete name of the letter
2024 # * content => the complete text. It's a TEXT field type, so has no limits.
2025 #
2026 # My next goal now is to work on point 2-I "serial issue alert"
2027 # With this feature, in serials, a user can subscribe the "issue alert". For every issue arrived/missing, a mail is sent to all subscribers of this list. The mail warns the user that the issue is arrive or missing. Will be in head.
2028 # (see mail on koha-devel, 2005/04/07)
2029 #
2030 # The "serial issue alert" will be the 1st to use this letter system that probably needs some tweaking ;-)
2031 #
2032 # Once it will be stabilised default letters (in any languages) could be added during installer to help the library begin with this new feature.
2033 #
2034 # Revision 1.113  2005/07/28 08:38:41  tipaul
2035 # For instance, the return date does not rely on the borrower expiration date. A systempref will be added in Koha, to modify return date calculation schema :
2036 # * ReturnBeforeExpiry = yes => return date can't be after expiry date
2037 # * ReturnBeforeExpiry = no  => return date can be after expiry date
2038 #
2039 # Revision 1.112  2005/07/26 08:19:47  hdl
2040 # Adding IndependantBranches System preference variable in order to manage Branch independancy.
2041 #
2042 # Revision 1.111  2005/07/25 15:35:38  tipaul
2043 # we have decided that moving to Koha 3.0 requires being already in Koha 2.2.x
2044 # So, the updatedatabase script can highly be cleaned (90% removed).
2045 # Let's play with the new Koha DB structure now ;-)
2046 #