/[pgestraier]/trunk/pgest.c
This is repository of my old source code which isn't updated any more. Go to git.rot13.org for current projects!
ViewVC logotype

Diff of /trunk/pgest.c

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 40 by dpavlin, Sat Sep 10 18:51:13 2005 UTC revision 41 by dpavlin, Sat Sep 10 20:35:09 2005 UTC
# Line 14  Line 14 
14   *   *
15   * Based on:   * Based on:
16   * - C example from PostgreSQL documentation (BSD licence)   * - C example from PostgreSQL documentation (BSD licence)
17   * - example002.c from Hyper Estraier (GPL)   * - coreexample002.c and nodeexample002.c from Hyper Estraier (GPL)
18   * - _textin/_textout from pgcurl.c (LGPL)   * - _textin/_textout from pgcurl.c (LGPL)
19   *   *
20   * This code is licenced under GPL   * This code is licenced under GPL
# Line 28  Line 28 
28  #include "miscadmin.h"  #include "miscadmin.h"
29  #include <estraier.h>  #include <estraier.h>
30  #include <cabin.h>  #include <cabin.h>
31    #include <estnode.h>
32    
33  #define _textin(str) DirectFunctionCall1(textin, CStringGetDatum(str))  #define _textin(str) DirectFunctionCall1(textin, CStringGetDatum(str))
34  #define _textout(str) DatumGetPointer(DirectFunctionCall1(textout, PointerGetDatum(str)))  #define _textout(str) DatumGetPointer(DirectFunctionCall1(textout, PointerGetDatum(str)))
# Line 43  Line 44 
44    
45  /* prototype */  /* prototype */
46  char *attr2text(ESTDOC *doc, char *attr);  char *attr2text(ESTDOC *doc, char *attr);
47    char *node_attr2text(ESTRESDOC *rdoc, char *attr);
48    
49    
50  /* work in progress */  /* work in progress */
# Line 334  char *attr2text(ESTDOC *doc, char *attr) Line 336  char *attr2text(ESTDOC *doc, char *attr)
336    
337          len++;          len++;
338          len *= sizeof(char);          len *= sizeof(char);
339    
340            elog(DEBUG2, "palloc(%d)", len);
341    
342            val = palloc(len);
343    
344            memset(val, 0, len);
345            strncpy(val, attrval, len);
346    
347            elog(DEBUG2, "val=%s", val);
348    
349            return val;
350    }
351    
352    /*
353     * variation on theme: use node API which doesn't open index on
354     * every query which is much faster for large indexes
355     *
356     */
357    
358    PG_FUNCTION_INFO_V1(pgest_node);
359    Datum pgest_node(PG_FUNCTION_ARGS)
360    {
361            ArrayType       *attr_arr = PG_GETARG_ARRAYTYPE_P(8);
362            Oid             attr_element_type = ARR_ELEMTYPE(attr_arr);
363            int             attr_ndims = ARR_NDIM(attr_arr);
364            int             *attr_dim_counts = ARR_DIMS(attr_arr);
365            int             *attr_dim_lower_bounds = ARR_LBOUND(attr_arr);
366            int             ncols = 0;
367            int             nrows = 0;
368            int             indx[MAXDIM];
369            int16           attr_len;
370            bool            attr_byval;
371            char            attr_align;
372            ReturnSetInfo   *rsinfo = (ReturnSetInfo *) fcinfo->resultinfo;
373            AttInMetadata   *attinmeta;
374            TupleDesc       tupdesc;
375            Tuplestorestate *tupstore = NULL;
376            HeapTuple       tuple;
377            MemoryContext   per_query_ctx;
378            MemoryContext   oldcontext;
379            Datum           dvalue;
380            char            **values;
381            int             rsinfo_ncols;
382            int             i, j;
383            /* estvars */
384            ESTNODE *node;
385            ESTCOND *cond;
386            ESTNODERES *nres;
387            ESTRESDOC *rdoc;
388            const CBLIST *texts;
389            int resnum = 0;
390            int limit = 0;
391            int offset = 0;
392    
393            char            *node_url;
394            char            *user, *passwd;
395            char            *query;
396            char            *attr;
397            char            *order;
398    
399    
400            /* only allow 1D input array */
401            if (attr_ndims == 1)
402            {
403                    ncols = attr_dim_counts[0];
404            }
405            else
406                    ereport(ERROR,
407                                    (errcode(ERRCODE_INVALID_PARAMETER_VALUE),
408                                     errmsg("invalid input array"),
409                                     errdetail("Input array must have 1 dimension")));
410                    
411            /* check to see if caller supports us returning a tuplestore */
412            if (!rsinfo || !(rsinfo->allowedModes & SFRM_Materialize))
413                    ereport(ERROR,
414                                    (errcode(ERRCODE_SYNTAX_ERROR),
415                                     errmsg("materialize mode required, but it is not " \
416                                                    "allowed in this context")));
417    
418            /* get info about element type needed to construct the array */
419            get_typlenbyvalalign(attr_element_type, &attr_len, &attr_byval, &attr_align);
420    
421            /* get the requested return tuple description */
422            tupdesc = rsinfo->expectedDesc;
423            rsinfo_ncols = tupdesc->natts;
424    
425            /*
426             * The requested tuple description better match up with the array
427             * we were given.
428             */
429            if (rsinfo_ncols != ncols)
430                    ereport(ERROR,
431                                    (errcode(ERRCODE_INVALID_PARAMETER_VALUE),
432                                     errmsg("invalid input array"),
433                                     errdetail("Number of elements in array must match number of query specified columns.")));
434    
435            /* OK, use it */
436            attinmeta = TupleDescGetAttInMetadata(tupdesc);
437    
438            /* Now go to work */
439            rsinfo->returnMode = SFRM_Materialize;
440    
441            per_query_ctx = fcinfo->flinfo->fn_mcxt;
442            oldcontext = MemoryContextSwitchTo(per_query_ctx);
443    
444            /* initialize our tuplestore */
445            tupstore = tuplestore_begin_heap(true, false, SortMem);
446    
447    
448            /* take rest of arguments from function */
449    
450            /* node URL */
451            if (PG_ARGISNULL(0)) {
452                    ereport(ERROR,
453                                    (errcode(ERRCODE_INVALID_PARAMETER_VALUE),
454                                     errmsg("node URL can't be null"),
455                                     errdetail("Node URL must be valid URL to HyperEstraier node")));
456            }
457            node_url = _textout(PG_GETARG_TEXT_P(0));
458    
459            /* login and password */
460            if (PG_ARGISNULL(1) || PG_ARGISNULL(2)) {
461                    ereport(ERROR,
462                                    (errcode(ERRCODE_INVALID_PARAMETER_VALUE),
463                                     errmsg("username and password can't be NULL"),
464                                     errdetail("You must specify valid username and password to HyperEstraier node")));
465            }
466            user = _textout(PG_GETARG_TEXT_P(1));
467            passwd = _textout(PG_GETARG_TEXT_P(2));
468    
469            /* query string */
470            if (PG_ARGISNULL(3)) {
471                    query = "";
472            } else {
473                    query = _textout(PG_GETARG_TEXT_P(3));
474            }
475    
476            /* atribute filter */
477            if (PG_ARGISNULL(4)) {
478                    attr = "";
479            } else {
480                    attr = _textout(PG_GETARG_TEXT_P(4));
481            }
482            
483            /* sort order */
484            if (PG_ARGISNULL(5)) {
485                    order = "";
486            } else {
487                    order = _textout(PG_GETARG_TEXT_P(5));
488            }
489    
490    
491            /* limit */
492            if (PG_ARGISNULL(6)) {
493                    limit = 0;
494            } else {
495                    limit = PG_GETARG_INT32(6);
496            }
497    
498            /* offset */
499            if (PG_ARGISNULL(7)) {
500                    offset = 0;
501            } else {
502                    offset = PG_GETARG_INT32(7);
503            }
504    
505            /* initialize the network environment */
506            if(!est_init_net_env()){
507                    ereport(ERROR, (errcode(ERRCODE_QUERY_CANCELED),
508                            errmsg("pgest_node: can't create network enviroment")));
509            }
510    
511            /* create the node connection object */
512            elog(DEBUG1, "pgest_node: est_node_new(%s) as %s", node_url, user);
513            node = est_node_new(node_url);
514            est_node_set_auth(node, user, passwd);
515    
516            elog(DEBUG1, "pgest_node: query[%s] attr[%s] limit %d offset %d", query, (PG_ARGISNULL(4) ? "NULL" : attr), limit, offset);
517            
518            /* create a search condition object */
519            if (!(cond = est_cond_new())) {
520                    ereport(ERROR, (errcode(ERRCODE_QUERY_CANCELED),
521                            errmsg("pgest_node: est_cond_new failed")));
522            }
523            
524            /* set the search phrase to the search condition object */
525            if (! PG_ARGISNULL(3) && strlen(query) > 0)
526                    est_cond_set_phrase(cond, query);
527    
528            /* minimum valid attribute length is 10: @a STREQ a */
529            if (! PG_ARGISNULL(4) && strlen(attr) >= 10) {
530                    elog(DEBUG1,"attributes: %s", attr);
531                    char *curr_attr;
532                    curr_attr = strtok(attr, ATTR_DELIMITER);
533                    while (curr_attr) {
534                            elog(DEBUG1,"est_cond_add_attr(%s)", curr_attr);
535                            est_cond_add_attr(cond, curr_attr);
536                            curr_attr = strtok(NULL, ATTR_DELIMITER);
537                    }
538            }
539    
540            /* set the search phrase to the search condition object */
541            if (! PG_ARGISNULL(5) && strlen(order) > 0) {
542                    elog(DEBUG1,"est_cond_set_order(%s)", order);
543                    est_cond_set_order(cond, order);
544            }
545    
546            if (limit) {
547                    elog(DEBUG1,"est_cond_set_max(%d)", limit + offset);
548                    est_cond_set_max(cond, limit + offset);
549            }
550    
551            /* get the result of search */
552            /* FIXME: allow user to specify depath of search */
553            nres = est_node_search(node, cond, 0);
554    
555            /* get number of results */
556            resnum = est_noderes_doc_num(nres);
557    
558            /* check if results exists */
559            if ( 0 == resnum ) {
560                    elog(INFO, "pgest_node: no results for: %s", query );
561            }
562    
563            /* total number of tuples to be returned */
564            if (limit && limit < resnum) {
565                    nrows = limit;
566            } else {
567                    nrows = resnum - offset;
568            }
569    
570    
571            elog(DEBUG1, "pgest_node: found %d hits for %s", resnum, query);
572    
573    
574            values = (char **) palloc(ncols * sizeof(char *));
575    
576            for (i = 0; i < nrows; i++)
577            {
578    
579                    /* get result from estraier */
580                    if (! ( rdoc = est_noderes_get_doc(nres, i + offset) )) {
581                            elog(INFO, "can't find result %d", i + offset);
582                    } else {
583                            elog(DEBUG1, "URI: %s\n Title: %s\n",
584                                    est_resdoc_attr(rdoc, "@uri"),
585                                    est_resdoc_attr(rdoc, "@title")
586                            );
587                    }
588    
589                    /* iterate over results */
590                    for (j = 0; j < ncols; j++)
591                    {
592                            bool    isnull;
593    
594                            /* array value of this position */
595                            indx[0] = j + attr_dim_lower_bounds[0];
596    
597                            dvalue = array_ref(attr_arr, attr_ndims, indx, -1, attr_len, attr_byval, attr_align, &isnull);
598    
599                            if (!isnull && rdoc)
600                                    values[j] = DatumGetCString(
601                                            node_attr2text(rdoc,
602                                                    (char *)DirectFunctionCall1(textout, dvalue)
603                                            ));
604                            else
605                                    values[j] = NULL;
606                    }
607                    /* construct the tuple */
608                    tuple = BuildTupleFromCStrings(attinmeta, values);
609    
610                    /* now store it */
611                    tuplestore_puttuple(tupstore, tuple);
612    
613            }
614    
615            tuplestore_donestoring(tupstore);
616            rsinfo->setResult = tupstore;
617    
618            /*
619             * SFRM_Materialize mode expects us to return a NULL Datum. The actual
620             * tuples are in our tuplestore and passed back through
621             * rsinfo->setResult. rsinfo->setDesc is set to the tuple description
622             * that we actually used to build our tuples with, so the caller can
623             * verify we did what it was expecting.
624             */
625            rsinfo->setDesc = tupdesc;
626            MemoryContextSwitchTo(oldcontext);
627    
628            /* delete the node result object */
629            est_noderes_delete(nres);
630    
631            /* destroy the search condition object */                          
632            est_cond_delete(cond);
633    
634            /* destroy the node object */
635            est_node_delete(node);
636    
637            /* free the networking environment */
638            est_free_net_env();
639    
640            return (Datum) 0;
641    }
642    
643    /* make text var from node attr */
644    char *node_attr2text(ESTRESDOC *rdoc, char *attr) {
645            char *val;
646            const char *attrval;
647            int len;
648            int attrlen;
649    
650            elog(DEBUG1, "doc: %08x, attr: %s", rdoc, attr);
651    
652            if ( (attrval = est_resdoc_attr(rdoc, attr)) && (attrlen = strlen(attrval)) ) {
653                    val = (char *) palloc(attrlen * sizeof(char));
654            } else {
655                    return (Datum) NULL;
656            }
657    
658            len = strlen(attrval);
659            elog(DEBUG1, "node_attr2text(%s) = '%s' %d bytes", attr, attrval, len);
660    
661            len++;
662            len *= sizeof(char);
663    
664          elog(DEBUG2, "palloc(%d)", len);          elog(DEBUG2, "palloc(%d)", len);
665    
Legend:
Removed from v.40  
changed lines
  Added in v.41
  ViewVC Help
Powered by ViewVC 1.1.26