Ορίστε τα λειτουργικά όρια του agent
Καταγράψτε εργασία, χρήστες, πηγές δεδομένων, εργαλεία, επιτρεπόμενες επιπτώσεις και αποφάσεις που παραμένουν ανθρώπινες. Διαχωρίστε βοηθό που συντάσσει απάντηση από agent που τη στέλνει, αλλάζει εγγραφή ή ξεκινά διαδικασία. Τεκμηριώστε την ταυτότητα σε κάθε όριο: χρήστη, λογαριασμό υπηρεσίας, connector και τελική εφαρμογή.
Ορίστε συγκεκριμένη έκδοση αξιολόγησης για μοντέλο, οδηγίες, πολιτική ανάκτησης, σχήματα εργαλείων και δικαιώματα διασυνδέσεων. Ονομάστε υπεύθυνο συστήματος και αρμόδιο αποδοχής κινδύνου. Το συμπέρασμα αφορά συγκεκριμένη έκδοση και περιβάλλον. Νέος connector ή εργαλείο μπορεί να αλλάξει την ισχύ προηγούμενων αποτελεσμάτων, ακόμη και αν η συνομιλία φαίνεται ίδια.
Επιβάλετε δικαιώματα στην ανάκτηση και στην εκτέλεση
Ο βοηθός γνώσης πρέπει να ανακτά μόνο υλικό που δικαιούται να χρησιμοποιήσει ο αιτών. Ελέγξτε δικαιώματα εγγράφων, ομάδες, tenant και προσωρινά αποθηκευμένα αποτελέσματα κατά την ανάκτηση και την παράδοση. Δοκιμάστε αν η ανάκληση δικαιώματος σταματά επόμενη πρόσβαση. Μια οδηγία προς το μοντέλο δεν αντικαθιστά έλεγχο από τα συστήματα ανάκτησης και εφαρμογής.
Διαχωρίστε την τεχνική ταυτότητα του agent από την επιχειρησιακή εξουσία του χρήστη. Περιορίστε scopes και κοινά διαπιστευτήρια υψηλών προνομίων. Ελέγξτε πρόσβαση μεταξύ χρηστών και tenants με συνθετικά δεδομένα, συμπεριλαμβανομένου έγκυρου χρήστη που ζητά ξένο πόρο. Μια πειστική απάντηση από μη εξουσιοδοτημένη πηγή παραμένει αστοχία ασφάλειας.
Αντιμετωπίστε εξωτερικό περιεχόμενο ως μη έμπιστα δεδομένα
Email, έγγραφο, ιστοσελίδα ή αποτέλεσμα εργαλείου μπορεί να περιέχει οδηγίες αντίθετες προς την εξουσιοδοτημένη εργασία. Οι δοκιμές prompt injection καλύπτουν έμμεσες πηγές και άμεσα μηνύματα χρήστη. Αξιολογήστε ενέργειες και γνωστοποιήσεις που ακολουθούν, όχι μόνο αν εμφανίστηκε προειδοποίηση ή άρνηση σε προφανές δοκιμαστικό κείμενο.
Χρησιμοποιήστε ελεγχόμενα σενάρια με ακίνδυνους δείκτες και συνθετικά δεδομένα. Εξετάστε αν έγγραφο προκαλεί απρόσμενη κλήση εργαλείου, αλλαγή παραλήπτη ή εισαγωγή μη εξουσιοδοτημένης οδηγίας σε επόμενη διαδικασία. Φίλτρα περιεχομένου αποτελούν ένα επίπεδο· ανεξάρτητα όρια δικαιωμάτων, εξερχόμενων προορισμών και επιπτώσεων περιορίζουν τη ζημιά όταν το μοντέλο σφάλει.
Η διαδρομή ελέγχου μιας ενέργειας με συνέπειες
Ενδεικτικό μοντέλο ελέγχου: το γλωσσικό μοντέλο προτείνει ενέργεια και οι έλεγχοι της εφαρμογής αποφασίζουν αν επιτρέπεται η συγκεκριμένη εκτέλεση. Η ίδια πολιτική εφαρμόζεται σε επαναλήψεις, εργασίες παρασκηνίου και απευθείας κλήσεις εργαλείων.
- Ταυτοποίηση
Χρήστης, tenant και ανατεθειμένη εξουσιοδότηση.
- Ανάκτηση
Μόνο πηγές που επιτρέπονται στην τρέχουσα ταυτότητα.
- Πρόταση
Ενέργεια συγκεκριμένου τύπου με ρητές παραμέτρους.
- Εξουσιοδότηση
Έλεγχος πολιτικής και, όπου χρειάζεται, δεσμευτική ανθρώπινη έγκριση.
- Εκτέλεση και καταγραφή
Τήρηση ορίων, καταγραφή αποτελέσματος και αποφυγή διπλών επιπτώσεων.
Συνδέστε κάθε έγκριση με συγκεκριμένη ενέργεια
Για ουσιαστική εξωτερική ενέργεια, ο εγκρίνων πρέπει να βλέπει ακριβή προορισμό, δεδομένα, σκοπό και συνέπεια. Η έγκριση έχει καθορισμένη διάρκεια και συνδέεται με ό,τι τελικά εκτελείται. Αλλαγή παραμέτρων απαιτεί νέα απόφαση. Μια γενική καταφατική απάντηση δεν αρκεί για ακολουθία μεταγενέστερων, μη γνωστοποιημένων ενεργειών.
Τα εργαλεία επαληθεύουν τύπους εισόδου, εξουσιοδοτημένους πόρους και επιτρεπόμενες μεταβάσεις ανεξάρτητα από παραγόμενο κείμενο. Εξετάστε διπλή εκτέλεση λόγω επαναλήψεων, retries ή καθυστερημένων callbacks. Ορίστε ακύρωση και επαναφορά και ελέγξτε ότι άρνηση ή ληγμένη έγκριση εμποδίζει πραγματικά την εκτέλεση.
Δημιουργήστε σύνολο δοκιμών με κριτήρια αποδοχής
Συνδυάστε κανονικές εργασίες, καταχρηστικά σενάρια και λειτουργικές αστοχίες. Περιλάβετε νόμιμη ενέργεια που πρέπει να πετύχει, απαγορευμένη που πρέπει να αποτύχει, αλλαγμένα δικαιώματα, μη διαθέσιμα εργαλεία, κακοσχηματισμένες απαντήσεις και αντιφατικό υλικό. Επαναλάβετε επιλεγμένες δοκιμές όταν η μη ντετερμινιστική συμπεριφορά επηρεάζει το αποτέλεσμα και κρατήστε ρυθμίσεις και τεκμήρια.
Συμφωνήστε όρια αποδοχής πριν εξετάσετε αποτελέσματα. Διαχωρίστε κρίσιμες αστοχίες ασφάλειας από ελαττώματα ποιότητας και δηλώστε μη εξετασμένους συνδυασμούς. Ένα μικρό επιτυχημένο δείγμα δεν αποδεικνύει καθολικό ποσοστό ασφάλειας. Διατηρήστε εισόδους, σχετικά αποτελέσματα, αποφάσεις δικαιωμάτων και εγκρίσεις με ελαχιστοποίηση ευαίσθητων τιμών. Επαναλάβετε επηρεαζόμενες δοκιμές μετά από αλλαγές.
Εντάξτε παρακολούθηση και επαναφορά στην ετοιμότητα
Τα logs συνδέουν αίτημα, αποφάσεις ανάκτησης, προτεινόμενη ενέργεια, έγκριση και τελικό αποτέλεσμα με σταθερά αναγνωριστικά συσχέτισης. Περιορίστε την πρόσβαση και αποφύγετε μυστικά ή περιττό περιεχόμενο εγγράφων. Ένα χρήσιμο αρχείο περιστατικού εξηγεί τη διαδρομή χωρίς να δημιουργεί δεύτερο αποθετήριο ευαίσθητων πληροφοριών.
Δοκιμάστε διακοπή νέων εργασιών, ανάκληση πρόσβασης connectors και χειρισμό ημιτελών διαδικασιών. Η επαναφορά λογισμικού δεν αναιρεί αυτόματα email που στάλθηκε ή εγγραφή που άλλαξε αλλού. Ορίστε αντισταθμιστικές ενέργειες και υπευθύνους, επαληθεύοντας την αποκατάσταση με συμφωνημένο σενάριο. Παρακολουθήστε δικαιώματα και υγεία διασυνδέσεων στα οποία στηρίζεται η έγκριση παραγωγής.
Από την εντυπωσιακή επίδειξη στα τεκμήρια διάθεσης
Σε μικρή οθόνη, μετακινήστε τον πίνακα οριζόντια για να δείτε όλες τις στήλες.
| Περίπτωση δοκιμής | Αναμενόμενος έλεγχος | Τεκμήριο για τον υπεύθυνο |
|---|---|---|
| Ανακτημένο έγγραφο ζητά μη εξουσιοδοτημένη ενέργεια. | Το κείμενο πηγής δεν παραχωρεί προνόμια ούτε παρακάμπτει πολιτική εκτέλεσης. | Είσοδος, απόφαση εργαλείου και αποτέλεσμα στην ίδια ιχνηλάτηση. |
| Χρήστης ζητά πληροφορίες άλλου tenant. | Ανάκτηση, cache και εργαλεία τηρούν δικαιώματα tenant και εγγραφής. | Δοκιμές απαγορευμένων και νόμιμων αιτημάτων εντός tenant. |
| Η ενέργεια αλλάζει μετά την έγκριση. | Έγκριση παλιών παραμέτρων δεν εξουσιοδοτεί νέα ενέργεια. | Δεσμευμένο αποτύπωμα ή ισοδύναμη αναφορά, εγκρίνων και λήξη. |
| Εργαλείο υπερβαίνει χρόνο αναμονής αφού κάνει αλλαγή. | Η επανάληψη ελέγχει την κατάσταση πριν επαναλάβει συνέπειες. | Αναγνωριστικό λειτουργίας και αποτέλεσμα αποφυγής διπλής εκτέλεσης. |
| Αλλάζει connector ή έκδοση μοντέλου. | Οι σχετικές δοκιμές παλινδρόμησης τρέχουν στη νέα βάση έκδοσης. | Εκδόσεις αποτελεσμάτων, ανοικτοί κίνδυνοι και απόφαση επαναφοράς. |
Μετατρέψτε την αξιολόγηση σε απόφαση παραγωγής
Ο φάκελος απόφασης περιλαμβάνει διάγραμμα ορίων, μητρώο ταυτοτήτων και εργαλείων, δοκιμές, τεκμήρια, ανοικτά ευρήματα, διαδικασίες λειτουργίας και προϋποθέσεις έγκρισης. Διακρίνετε ετοιμότητα εντός εξετασμένου αντικειμένου, ετοιμότητα με ρητούς περιορισμούς και μη ετοιμότητα. Ο επιχειρησιακός υπεύθυνος χρειάζεται σαφή εικόνα των περιορισμών που πρέπει να διατηρηθούν.
Η TRUST-IT αξιολογεί υπάρχοντες agents, εξετάζει σχεδιαζόμενη αρχιτεκτονική ή ορίζει κριτήρια ασφάλειας για πιλοτικό AI. Συνδέουμε τεκμήρια με επιχειρησιακή εξουσιοδότηση και ευθύνη λειτουργίας. Το τεχνικό παράδειγμα ελεγχόμενου AI agent παρουσιάζει ενδεικτική αρχιτεκτονική· ο πίνακας αξιολόγησης βοηθά να ορίσετε τα τεκμήρια της δικής σας υλοποίησης.
Περισσότερες πληροφορίες
Από τη γνώση στην εφαρμογή
Αξιολόγηση prompt injection, έκθεσης δεδομένων, δικαιωμάτων agents, συμπεριφοράς μοντέλων και διακυβέρνησης AI.
Ασφάλεια & διακυβέρνηση AI