לאמת לפני שבוטחים
בודק מודלים של API בינה מלאכותית
בדקו אם נקודת קצה מספקת את המודל האמיתי שהיא מצהירה. רץ בדפדפן, המפתח שלכם אינו נשלח לשרתים שלנו.
מדוע הבודק הזה שונה
דטרמיניסטי, לא ניחוש
כל בדיקה תואמת אות מוחשי בתשובה, ולכן איננו מסמנים מודלים אמיתיים כמזויפים כפי שעושה טביעת אצבע סטטיסטית. קרא את הקוד המדויק.
מאומת בשרת לפני פרסום
תוצאה מגיעה ללוח הציבורי רק לאחר שהשרת שלנו מריץ מחדש את כל הבדיקה בעצמו, כך שלא ניתן לזייף את הדירוגים.
ראיות שאפשר לראות
כל פסיקה מציגה את הבקשה שנשלחה, את התשובה הגולמית ואת הטקסט התואם שהפעיל אותה. שום דבר אינו מוסתר.
מה לא נחשב מזויף
- עמימות גרסה מודל אמיתי מאשר את הספק ואת הדרגה אך לעיתים קרובות אינו בטוח לגבי גרסתו המדויקת. זה לבדו לעולם אינו כישלון, אלא מסומן כהערה מיידעת בלבד.
- שגיאות זמניות מגבלות קצב (429), שגיאות 5xx ופסקי זמן מסמנים הרצה כבלתי מאומתת, לעולם לא כחשודה. נקודת קצה אמיתית שחווה רגע גרוע אינה נענשת.
- שמות מארחים בענן נקיבת AWS Bedrock, Google Vertex או Azure כמארח מתקבלת, שכן אלה דרכים לגיטימיות למכור מחדש את המודל האמיתי.
- עיצוב מחדש של פרוטוקול תרגום בין chat-completions לבין תבנית messages המקורית הוא התנהגות שער רגילה ואינו סימן הונאה כל עוד המודל עצמו אמיתי.
- בדיקה אחת לא יציבה שלוש בדיקות שעוברות מתוך ארבע מספיקות כדי להיחשב אמיתי, ולכן תשובה חורגת אחת אינה מרשיעה נקודת קצה הוגנת.
כל הבודק הזה הוא קוד פתוח. קראו בדיוק אילו בדיקות רצות ולמה: הצג את קוד הזיהוי
יש לך רעיון לבדיקה טובה יותר? הציעו אותו כאן:פתח issue ב-GitHubדווח ב-Discord
קוד פתוח. אמתו ושפרו אותו.
קוד הבדיקות פתוח. ראו בדיוק אילו בדיקות רצות ולמה, הציעו בדיקות חדשות, או דונו בזיהוי ב-Discord שלנו.