Επεξεργασία Φυσικής Γλώσσας(NLP) σε Elasticsearch
Η Επεξεργασία Φυσικής Γλώσσας Elasticsearch περιλαμβάνει βασικά βήματα για τη μετατροπή και τον καθαρισμό του κειμένου εισόδου κατά την προετοιμασία για αναζήτηση και αναζήτηση. Ακολουθούν ορισμένες μέθοδοι επεξεργασίας φυσικής γλώσσας σε Elasticsearch:
Tokenization
Tokenization είναι η διαδικασία διαίρεσης του κειμένου σε μικρότερες μονάδες που ονομάζεται tokens. Κάθε διακριτικό είναι συνήθως μια λέξη ή μια μικρή φράση. Η δημιουργία διακριτικών του κειμένου βοηθά στην επιτάχυνση της αναζήτησης και των ερωτημάτων στο Elasticsearch.
Παράδειγμα: Το κείμενο Elasticsearch είναι ένα ισχυρό εργαλείο αναζήτησης και ανάλυσης. θα γίνει διακριτική σε: Elasticsearch, is, a, powerful, search, και analytics, tool.
Στέλεχος
Το Stemming είναι η διαδικασία μετατροπής των λέξεων στη μορφή βάσης ή ρίζας τους. Ο σκοπός είναι να ομαλοποιηθούν οι λέξεις με το ίδιο στέλεχος λέξης, βοηθώντας τα πιο ακριβή αποτελέσματα αναζήτησης.
Παράδειγμα: Οι λέξεις running, runs, ran θα μετατραπούν στη βασική μορφή run.
Σταματήστε την αφαίρεση λέξεων
Οι λέξεις διακοπής είναι κοινές και συχνές λέξεις, όπως is, the και a. Elasticsearch αφαιρεί λέξεις τερματισμού από το κείμενο για να μειώσει το μέγεθος του ευρετηρίου και να βελτιώσει την απόδοση αναζήτησης.
Παράδειγμα: Στην πρόταση The quick brown fox jumps over the lazy dog. οι λέξεις στοπ the και over θα αφαιρεθούν.
Συνώνυμα
Προσδιορισμός συνωνύμων για επέκταση των αποτελεσμάτων αναζήτησης. Elasticsearch μπορεί να ρυθμιστεί ώστε να χειρίζεται συνώνυμα και να επιστρέφει ισοδύναμα αποτελέσματα.
Παράδειγμα: Εάν ένας χρήστης κάνει αναζήτηση για big, Elasticsearch μπορεί να εμφανίσει αποτελέσματα που περιέχουν και τα δύο large και huge.
Ανάλυση Σύνθετης Λέξης
Επεξεργασία σύνθετων λέξεων ή ενωμένων λέξεων σε σύνθετες γλώσσες. Elasticsearch μπορεί να αναλύσει σύνθετες λέξεις σε ξεχωριστά στοιχεία για ευκολότερη αναζήτηση.
Παράδειγμα: Στα γερμανικά, η σύνθετη λέξη schwimmbad(πισίνα) μπορεί να αναλυθεί σε schwimm και bad.
Αναζήτηση φράσεων σε Elasticsearch
Η αναζήτηση φράσεων είναι ένας συγκεκριμένος τρόπος αναζήτησης στο Elasticsearch, με έμφαση στην εύρεση συγκεκριμένων φράσεων που εμφανίζονται διαδοχικά και με τη σωστή σειρά μέσα στο κείμενο. Αυτό εξασφαλίζει πιο ακριβή και αξιόπιστα αποτελέσματα αναζήτησης.
Παράδειγμα: Εάν υπάρχει ένα κείμενο, Elasticsearch είναι ένα ισχυρό εργαλείο αναζήτησης και ανάλυσης., όταν εκτελείτε μια αναζήτηση φράσης με τη φράση "αναζήτηση και αναλυτικά στοιχεία", Elasticsearch θα εμφανιστούν μόνο κείμενα που περιέχουν αυτήν τη φράση με τη σωστή σειρά, όπως το κείμενο που αναφέρεται παραπάνω.
Για να πραγματοποιήσετε μια phrase αναζήτηση στο Elasticsearch, μπορείτε να χρησιμοποιήσετε είτε το ερώτημα αντιστοίχισης φράσης είτε το Match Phrase Prefix ερώτημα, ανάλογα με τις απαιτήσεις αναζήτησής σας. Το Match Phrase ερώτημα θα αναζητήσει μια ακριβή phrase, ενώ το Match Phrase Prefix ερώτημα επιτρέπει μια μερική αντιστοίχιση της τελευταίας λέξης-κλειδιού.