/[pgestraier]/trunk/pgest.c
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/pgest.c

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 44 by dpavlin, Sat Sep 10 22:51:03 2005 UTC revision 72 by dpavlin, Mon Aug 7 22:44:21 2006 UTC
# Line 25  Line 25 
25  #include "funcapi.h"  #include "funcapi.h"
26  #include "utils/builtins.h"  #include "utils/builtins.h"
27  #include "utils/array.h"  #include "utils/array.h"
28    #include "utils/lsyscache.h"
29  #include "miscadmin.h"  #include "miscadmin.h"
30    #include "commands/trigger.h"
31    #include "executor/spi.h"
32    
33  #include <estraier.h>  #include <estraier.h>
34  #include <cabin.h>  #include <cabin.h>
35  #include <estnode.h>  #include <estnode.h>
# Line 41  Line 45 
45  #endif  #endif
46    
47  #define ATTR_DELIMITER "{{!}}"  #define ATTR_DELIMITER "{{!}}"
48    #define HINTS_PREFIX "HINTS."
49    
50  /* prototype */  /* prototype */
51  char *attr2text(ESTDOC *doc, char *attr);  char *attr2text(ESTDOC *doc, char *attr);
52  char *node_attr2text(ESTRESDOC *rdoc, char *attr);  char *node_attr2text(ESTRESDOC *rdoc, char *attr);
53    void cond_add_attr(ESTCOND *cond, char *attr);
54    
55    
56  /* work in progress */  /* work in progress */
# Line 77  Datum pgest_attr(PG_FUNCTION_ARGS) Line 83  Datum pgest_attr(PG_FUNCTION_ARGS)
83          ESTDB *db;          ESTDB *db;
84          ESTCOND *cond;          ESTCOND *cond;
85          ESTDOC *doc;          ESTDOC *doc;
         const CBLIST *texts;  
86          int ecode, *est_result, resnum;          int ecode, *est_result, resnum;
87          int limit = 0;          int limit = 0;
88          int offset = 0;          int offset = 0;
# Line 208  Datum pgest_attr(PG_FUNCTION_ARGS) Line 213  Datum pgest_attr(PG_FUNCTION_ARGS)
213          /* minimum valid attribute length is 10: @a STREQ a */          /* minimum valid attribute length is 10: @a STREQ a */
214          if (! PG_ARGISNULL(2) && strlen(attr) >= 10) {          if (! PG_ARGISNULL(2) && strlen(attr) >= 10) {
215                  elog(DEBUG1,"attributes: %s", attr);                  elog(DEBUG1,"attributes: %s", attr);
216                  char *curr_attr;                  cond_add_attr(cond, attr);
                 curr_attr = strtok(attr, ATTR_DELIMITER);  
                 while (curr_attr) {  
                         elog(DEBUG1,"est_cond_add_attr(%s)", curr_attr);  
                         est_cond_add_attr(cond, curr_attr);  
                         curr_attr = strtok(NULL, ATTR_DELIMITER);  
                 }  
217          }          }
218    
219          /* set the search phrase to the search condition object */          /* set the search phrase to the search condition object */
# Line 246  Datum pgest_attr(PG_FUNCTION_ARGS) Line 245  Datum pgest_attr(PG_FUNCTION_ARGS)
245    
246          elog(DEBUG1, "pgest_attr: found %d hits for %s", resnum, query);          elog(DEBUG1, "pgest_attr: found %d hits for %s", resnum, query);
247    
   
248          values = (char **) palloc(ncols * sizeof(char *));          values = (char **) palloc(ncols * sizeof(char *));
249    
250          for (i = 0; i < nrows; i++)          for (i = 0; i < nrows; i++)
# Line 254  Datum pgest_attr(PG_FUNCTION_ARGS) Line 252  Datum pgest_attr(PG_FUNCTION_ARGS)
252    
253                  /* get result from estraier */                  /* get result from estraier */
254                  if (! ( doc = est_db_get_doc(db, est_result[i + offset], 0)) ) {                  if (! ( doc = est_db_get_doc(db, est_result[i + offset], 0)) ) {
255                          elog(INFO, "can't find result %d", i + offset);                          elog(INFO, "pgest_attr: can't find result %d", i + offset);
256                  } else {                  } else {
257                          elog(DEBUG1, "URI: %s\n Title: %s\n",                          elog(DEBUG1, "URI: %s\n Title: %s\n",
258                                  est_doc_attr(doc, "@uri"),                                  est_doc_attr(doc, "@uri"),
# Line 286  Datum pgest_attr(PG_FUNCTION_ARGS) Line 284  Datum pgest_attr(PG_FUNCTION_ARGS)
284                  /* now store it */                  /* now store it */
285                  tuplestore_puttuple(tupstore, tuple);                  tuplestore_puttuple(tupstore, tuple);
286    
   
287                  /* delete estraier document object */                  /* delete estraier document object */
288                  est_doc_delete(doc);                  if (doc) est_doc_delete(doc);
289          }          }
290    
291          tuplestore_donestoring(tupstore);          tuplestore_donestoring(tupstore);
# Line 323  char *attr2text(ESTDOC *doc, char *attr) Line 320  char *attr2text(ESTDOC *doc, char *attr)
320          int len;          int len;
321          int attrlen;          int attrlen;
322    
323          elog(DEBUG1, "doc: %08x, attr: %s", doc, attr);          if (! doc) return (Datum) NULL;
324    
325            elog(DEBUG1, "doc: %p, attr: %s", doc, attr);
326    
327          if ( (attrval = est_doc_attr(doc, attr)) && (attrlen = strlen(attrval)) ) {          if ( (attrval = est_doc_attr(doc, attr)) && (attrlen = strlen(attrval)) ) {
328                  val = (char *) palloc(attrlen * sizeof(char));                  val = (char *) palloc(attrlen * sizeof(char));
# Line 355  char *attr2text(ESTDOC *doc, char *attr) Line 354  char *attr2text(ESTDOC *doc, char *attr)
354   *   *
355   */   */
356    
357    /* select * from pgest( */
358    #define _arg_node_uri 0
359    #define _arg_login 1
360    #define _arg_passwd 2
361    #define _arg_depth 3
362    #define _arg_query 4
363    #define _arg_attr 5
364    #define _arg_order 6
365    #define _arg_limit 7
366    #define _arg_offset 8
367    #define _arg_attr_array 9
368    /* as (foo text, ... ); */
369    
370    
371  PG_FUNCTION_INFO_V1(pgest_node);  PG_FUNCTION_INFO_V1(pgest_node);
372  Datum pgest_node(PG_FUNCTION_ARGS)  Datum pgest_node(PG_FUNCTION_ARGS)
373  {  {
374          ArrayType       *attr_arr = PG_GETARG_ARRAYTYPE_P(8);          ArrayType       *attr_arr = PG_GETARG_ARRAYTYPE_P(_arg_attr_array);
375          Oid             attr_element_type = ARR_ELEMTYPE(attr_arr);          Oid             attr_element_type = ARR_ELEMTYPE(attr_arr);
376          int             attr_ndims = ARR_NDIM(attr_arr);          int             attr_ndims = ARR_NDIM(attr_arr);
377          int             *attr_dim_counts = ARR_DIMS(attr_arr);          int             *attr_dim_counts = ARR_DIMS(attr_arr);
# Line 385  Datum pgest_node(PG_FUNCTION_ARGS) Line 398  Datum pgest_node(PG_FUNCTION_ARGS)
398          ESTCOND *cond;          ESTCOND *cond;
399          ESTNODERES *nres;          ESTNODERES *nres;
400          ESTRESDOC *rdoc;          ESTRESDOC *rdoc;
401          const CBLIST *texts;          CBMAP *hints;
402          int resnum = 0;          int resnum = 0;
403          int limit = 0;          int limit = 0;
404          int offset = 0;          int offset = 0;
405            int depth = 0;
406    
407          char            *node_url;          char            *node_url;
408          char            *user, *passwd;          char            *user, *passwd;
# Line 448  Datum pgest_node(PG_FUNCTION_ARGS) Line 462  Datum pgest_node(PG_FUNCTION_ARGS)
462          /* take rest of arguments from function */          /* take rest of arguments from function */
463    
464          /* node URL */          /* node URL */
465          if (PG_ARGISNULL(0)) {          if (PG_ARGISNULL(_arg_node_uri)) {
466                  ereport(ERROR,                  ereport(ERROR,
467                                  (errcode(ERRCODE_INVALID_PARAMETER_VALUE),                                  (errcode(ERRCODE_INVALID_PARAMETER_VALUE),
468                                   errmsg("node URL can't be null"),                                   errmsg("node URL can't be null"),
469                                   errdetail("Node URL must be valid URL to HyperEstraier node")));                                   errdetail("Node URL must be valid URL to HyperEstraier node")));
470          }          }
471          node_url = _textout(PG_GETARG_TEXT_P(0));          node_url = _textout(PG_GETARG_TEXT_P(_arg_node_uri));
472    
473          /* login and password */          /* login and password */
474          if (PG_ARGISNULL(1) || PG_ARGISNULL(2)) {          if (PG_ARGISNULL(_arg_login) || PG_ARGISNULL(_arg_passwd)) {
475                  ereport(ERROR,                  ereport(ERROR,
476                                  (errcode(ERRCODE_INVALID_PARAMETER_VALUE),                                  (errcode(ERRCODE_INVALID_PARAMETER_VALUE),
477                                   errmsg("username and password can't be NULL"),                                   errmsg("username and password can't be NULL"),
478                                   errdetail("You must specify valid username and password to HyperEstraier node")));                                   errdetail("You must specify valid username and password to HyperEstraier node")));
479          }          }
480          user = _textout(PG_GETARG_TEXT_P(1));          user = _textout(PG_GETARG_TEXT_P(_arg_login));
481          passwd = _textout(PG_GETARG_TEXT_P(2));          passwd = _textout(PG_GETARG_TEXT_P(_arg_passwd));
482    
483            /* depth of search */
484            if (PG_ARGISNULL(_arg_depth)) {
485                    depth = 0;
486            } else {
487                    depth = PG_GETARG_INT32(_arg_depth);
488            }
489    
490          /* query string */          /* query string */
491          if (PG_ARGISNULL(3)) {          if (PG_ARGISNULL(_arg_query)) {
492                  query = "";                  query = "";
493          } else {          } else {
494                  query = _textout(PG_GETARG_TEXT_P(3));                  query = _textout(PG_GETARG_TEXT_P(_arg_query));
495          }          }
496    
497          /* atribute filter */          /* atribute filter */
498          if (PG_ARGISNULL(4)) {          if (PG_ARGISNULL(_arg_attr)) {
499                  attr = "";                  attr = "";
500          } else {          } else {
501                  attr = _textout(PG_GETARG_TEXT_P(4));                  attr = _textout(PG_GETARG_TEXT_P(_arg_attr));
502          }          }
503                    
504          /* sort order */          /* sort order */
505          if (PG_ARGISNULL(5)) {          if (PG_ARGISNULL(_arg_order)) {
506                  order = "";                  order = "";
507          } else {          } else {
508                  order = _textout(PG_GETARG_TEXT_P(5));                  order = _textout(PG_GETARG_TEXT_P(_arg_order));
509          }          }
510    
511    
512          /* limit */          /* limit */
513          if (PG_ARGISNULL(6)) {          if (PG_ARGISNULL(_arg_limit)) {
514                  limit = 0;                  limit = 0;
515          } else {          } else {
516                  limit = PG_GETARG_INT32(6);                  limit = PG_GETARG_INT32(_arg_limit);
517          }          }
518    
519          /* offset */          /* offset */
520          if (PG_ARGISNULL(7)) {          if (PG_ARGISNULL(_arg_offset)) {
521                  offset = 0;                  offset = 0;
522          } else {          } else {
523                  offset = PG_GETARG_INT32(7);                  offset = PG_GETARG_INT32(_arg_offset);
524          }          }
525    
526          /* initialize the network environment */          /* initialize the network environment */
# Line 513  Datum pgest_node(PG_FUNCTION_ARGS) Line 534  Datum pgest_node(PG_FUNCTION_ARGS)
534          node = est_node_new(node_url);          node = est_node_new(node_url);
535          est_node_set_auth(node, user, passwd);          est_node_set_auth(node, user, passwd);
536    
537          elog(DEBUG1, "pgest_node: query[%s] attr[%s] limit %d offset %d", query, (PG_ARGISNULL(4) ? "NULL" : attr), limit, offset);          elog(DEBUG1, "pgest_node: node: %s (d:%d) query[%s] attr[%s] limit %d offset %d", node_url, depth, query, (PG_ARGISNULL(_arg_attr) ? "NULL" : attr), limit, offset);
538                    
539          /* create a search condition object */          /* create a search condition object */
540          if (!(cond = est_cond_new())) {          if (!(cond = est_cond_new())) {
# Line 522  Datum pgest_node(PG_FUNCTION_ARGS) Line 543  Datum pgest_node(PG_FUNCTION_ARGS)
543          }          }
544                    
545          /* set the search phrase to the search condition object */          /* set the search phrase to the search condition object */
546          if (! PG_ARGISNULL(3) && strlen(query) > 0)          if (! PG_ARGISNULL(_arg_query) && strlen(query) > 0)
547                  est_cond_set_phrase(cond, query);                  est_cond_set_phrase(cond, query);
548    
549          /* minimum valid attribute length is 10: @a STREQ a */          /* minimum valid attribute length is 10: @a STREQ a */
550          if (! PG_ARGISNULL(4) && strlen(attr) >= 10) {          if (! PG_ARGISNULL(_arg_attr) && strlen(attr) >= 10) {
551                  elog(DEBUG1,"attributes: %s", attr);                  elog(DEBUG1,"attributes: %s", attr);
552                  char *curr_attr;                  cond_add_attr(cond, attr);
                 curr_attr = strtok(attr, ATTR_DELIMITER);  
                 while (curr_attr) {  
                         elog(DEBUG1,"est_cond_add_attr(%s)", curr_attr);  
                         est_cond_add_attr(cond, curr_attr);  
                         curr_attr = strtok(NULL, ATTR_DELIMITER);  
                 }  
553          }          }
554    
555          /* set the search phrase to the search condition object */          /* set the search phrase to the search condition object */
556          if (! PG_ARGISNULL(5) && strlen(order) > 0) {          if (! PG_ARGISNULL(_arg_order) && strlen(order) > 0) {
557                  elog(DEBUG1,"est_cond_set_order(%s)", order);                  elog(DEBUG1,"est_cond_set_order(%s)", order);
558                  est_cond_set_order(cond, order);                  est_cond_set_order(cond, order);
559          }          }
# Line 548  Datum pgest_node(PG_FUNCTION_ARGS) Line 563  Datum pgest_node(PG_FUNCTION_ARGS)
563                  est_cond_set_max(cond, limit + offset);                  est_cond_set_max(cond, limit + offset);
564          }          }
565    
566            if (offset) {
567                    elog(DEBUG1,"est_cond_set_skip(%d)", offset);
568                    est_cond_set_skip(cond, offset);
569            }
570    
571          /* get the result of search */          /* get the result of search */
572          /* FIXME: allow user to specify depath of search */          nres = est_node_search(node, cond, depth);
         nres = est_node_search(node, cond, 0);  
573    
574          if (! nres) {          if (! nres) {
575                  int status = est_node_status(node);                  int status = est_node_status(node);
# Line 576  Datum pgest_node(PG_FUNCTION_ARGS) Line 595  Datum pgest_node(PG_FUNCTION_ARGS)
595                  nrows = resnum - offset;                  nrows = resnum - offset;
596          }          }
597    
598            /* get hints */
599            hints = est_noderes_hints(nres);
600    
601          elog(DEBUG1, "pgest_node: found %d hits for %s", resnum, query);          elog(DEBUG1, "pgest_node: found %d hits for %s", resnum, query);
602    
# Line 586  Datum pgest_node(PG_FUNCTION_ARGS) Line 607  Datum pgest_node(PG_FUNCTION_ARGS)
607          {          {
608    
609                  /* get result from estraier */                  /* get result from estraier */
610                  if (! ( rdoc = est_noderes_get_doc(nres, i + offset) )) {                  if (! ( rdoc = est_noderes_get_doc(nres, i) )) {
611                          elog(INFO, "can't find result %d", i + offset);                          elog(INFO, "pgest_node: can't find result %d", i + offset);
612                  } else {                  } else {
613                          elog(DEBUG1, "URI: %s\n Title: %s\n",                          elog(DEBUG1, "URI: %s\n Title: %s\n",
614                                  est_resdoc_attr(rdoc, "@uri"),                                  est_resdoc_attr(rdoc, "@uri"),
# Line 599  Datum pgest_node(PG_FUNCTION_ARGS) Line 620  Datum pgest_node(PG_FUNCTION_ARGS)
620                  for (j = 0; j < ncols; j++)                  for (j = 0; j < ncols; j++)
621                  {                  {
622                          bool    isnull;                          bool    isnull;
623                            char    *attr;  /* current attribute name */
624                            char    *hint;  /* position of current hint in attribute */
625                            char    *hint_val;
626    
627                          /* array value of this position */                          /* array value of this position */
628                          indx[0] = j + attr_dim_lower_bounds[0];                          indx[0] = j + attr_dim_lower_bounds[0];
629    
630                          dvalue = array_ref(attr_arr, attr_ndims, indx, -1, attr_len, attr_byval, attr_align, &isnull);                          dvalue = array_ref(attr_arr, attr_ndims, indx, -1, attr_len, attr_byval, attr_align, &isnull);
631                            attr = (char *)DirectFunctionCall1(textout, dvalue);
632    
633                          if (!isnull && rdoc)                          if (!isnull && (hint = strstr(attr, HINTS_PREFIX)) != NULL) {
634                                  values[j] = DatumGetCString(                                  /* skip HINTS. prefix */
635                                          node_attr2text(rdoc,                                  hint += strlen(HINTS_PREFIX);
636                                                  (char *)DirectFunctionCall1(textout, dvalue)  
637                                          ));                                  hint_val = (char *)cbmapget(hints, hint, -1, NULL);
638                                    elog(DEBUG2, "hint %s = %s", hint, hint_val);
639    
640                                    if (hint_val != NULL) {
641                                            values[j] = DatumGetCString( hint_val );
642                                    } else {
643                                            elog(INFO, "can't get hint in results: %s", hint);
644                                            values[j] = NULL;
645                                    }
646                            } else if (!isnull && rdoc)
647                                    values[j] = DatumGetCString( node_attr2text(rdoc, attr) );
648                          else                          else
649                                  values[j] = NULL;                                  values[j] = NULL;
650                  }                  }
# Line 656  char *node_attr2text(ESTRESDOC *rdoc, ch Line 691  char *node_attr2text(ESTRESDOC *rdoc, ch
691          int len;          int len;
692          int attrlen;          int attrlen;
693    
694          elog(DEBUG1, "doc: %08x, attr: %s", rdoc, attr);          if (! rdoc) return (Datum) NULL;
695    
696            elog(DEBUG1, "doc: %p, attr: %s", rdoc, attr);
697    
698          if ( (attrval = est_resdoc_attr(rdoc, attr)) && (attrlen = strlen(attrval)) ) {          if ( (attrval = est_resdoc_attr(rdoc, attr)) && (attrlen = strlen(attrval)) ) {
699                  val = (char *) palloc(attrlen * sizeof(char));                  val = (char *) palloc(attrlen * sizeof(char));
# Line 682  char *node_attr2text(ESTRESDOC *rdoc, ch Line 719  char *node_attr2text(ESTRESDOC *rdoc, ch
719          return val;          return val;
720  }  }
721    
722    /* parse attributes and add them to confition */
723    void cond_add_attr(ESTCOND *cond, char *attr) {
724            char *next;
725            char *curr_attr;
726            while ( strlen(attr) > 0 ) {
727                    printf("len [%s] = %d\n", attr, strlen(attr));
728                    if ((next = strstr(attr, ATTR_DELIMITER)) != NULL) {
729                            curr_attr = palloc( next - attr + 1 );
730                            memcpy(curr_attr, attr, next-attr);
731                            curr_attr[next-attr] = '\0';
732                            next += strlen(ATTR_DELIMITER);
733                    } else {
734                            next = "";
735                            curr_attr = attr;
736                    }
737                    elog(DEBUG1, "est_cond_add_attr(%s)", curr_attr);
738                    est_cond_add_attr(cond, curr_attr);
739                    attr = next;
740            }
741    }
742    
743    /* trigger to keep data in Hyper Estraier index up-to-date */
744    /* CREATE FUNCTION pgest_trigger() RETURNS TRIGGER AS ... */
745    
746    /*
747     * UPDATE, INSERT and DELETE triggers are like this:
748    
749    CREATE TRIGGER pgest_trigger_update AFTER UPDATE
750            ON table_name FOR EACH ROW
751            EXECUTE PROCEDURE pgest_trigger('http://localhost:1978/node/trivia','admin','admin',
752                    'name_of_pk', 'column', 'another_column', 'and_so_on'
753            )
754    
755    */
756    
757    PG_FUNCTION_INFO_V1(pgest_trigger);
758    Datum pgest_trigger(PG_FUNCTION_ARGS) {
759    
760            TriggerData *data;
761            TupleDesc   tupdesc;
762            HeapTuple   ret;
763    
764            char **args;
765            char *keycol  = NULL;
766            char *key     = NULL;
767            char *col_data = NULL;
768            int   knumber;
769            int   i;
770            int   create_doc = 0;
771    
772            ESTNODE *node;
773            ESTDOC *doc;
774    
775    
776    
777            if (! CALLED_AS_TRIGGER(fcinfo)) {
778                    elog(ERROR, "pgest_trigger() must be called as a trigger");
779            }
780    
781            data = (TriggerData *) fcinfo->context;
782    
783            if (data->tg_trigger->tgnargs < 5)
784                    elog(ERROR, "pgest_trigger() requires at least 5 parameters ('http://localhost:1978/node/trivia', 'user', 'passwd', 'pk_column', 'column', ... )");
785    
786            args       = data->tg_trigger->tgargs;
787            keycol     = args[3];
788    
789            tupdesc = data->tg_relation->rd_att;
790    
791            knumber = SPI_fnumber(tupdesc, keycol);
792            key = SPI_getvalue(data->tg_trigtuple, tupdesc, knumber);
793    
794    
795            /* initialize the network environment */
796            if( ! est_init_net_env() )
797                    elog(ERROR, "pgest_trigger: network is unavailable\n");
798    
799            /* create and configure the node connection object */
800            node = est_node_new( args[0] );
801            est_node_set_auth(node, args[1], args[2]);
802    
803    
804            if (TRIGGER_FIRED_BY_INSERT(data->tg_event)) {
805                    /* There is no old data */
806                    ret = data->tg_trigtuple;
807    
808                    create_doc++;
809    
810            } else if (TRIGGER_FIRED_BY_UPDATE(data->tg_event)) {
811                    ret = data->tg_newtuple;
812    
813                    create_doc++;
814    
815            } else if (TRIGGER_FIRED_BY_DELETE(data->tg_event)) {
816                    /* There is no new data */
817                    ret = data->tg_trigtuple;
818    
819                    if (! est_node_out_doc_by_uri(node, key) )
820                            elog(ERROR, "est_node_doc_by_uri(%s): %d\n", key, est_node_status(node));
821    
822            } else {
823                    elog(ERROR, "pgest_trigger() not called from INSERT/UPDATE/DELETE");
824            }
825    
826            if ( create_doc ) {
827    
828                    /* create a document object */
829                    doc = est_doc_new();
830                    est_doc_add_attr(doc, "@uri", key);
831    
832                    elog(DEBUG1, "est_doc_new @uri=%s", key);
833    
834                    for( i = 4; i < data->tg_trigger->tgnargs; i++ ) {
835    
836                            col_data = SPI_getvalue(ret, tupdesc, SPI_fnumber(tupdesc, args[i]));
837    
838                            if (data) {
839                                    elog(DEBUG1, " + %s = %s", args[i], col_data);
840                                    est_doc_add_attr(doc, args[i], col_data);
841                                    est_doc_add_text(doc, col_data);
842                            }
843    
844                    }
845    
846                    /* register the document object to the node */
847                    if( ! est_node_put_doc(node, doc) )
848                            elog(ERROR, "est_node_put_doc: %d\n", est_node_status(node));
849    
850                    /* destroy the document object */
851                    est_doc_delete(doc);
852    
853            }
854    
855            /* destroy the node object */
856            est_node_delete(node);
857            /* free the networking environment */
858            est_free_net_env();
859    
860    
861            return PointerGetDatum(ret);
862    }
863    
Legend:
Removed from v.44  
changed lines
  Added in v.72
  ViewVC Help
Powered by ViewVC 1.1.26