כל שירותי האינטרנט

גירוד אתרים ב-Okou

תן לסוכן קישור והוא יחזור עם מה שהדף באמת אומר, בטקסט נקי וקריא. אין צורך להירשם לספק גירוד.

נתוני אינטרנט · ללא הגדרה · שני מצבי חיוב, סטנדרטי ומשופר

כוון סוכן לקישור ציבורי והוא יקרא עבורך את הדף: את המילים, לא את תפריטי הניווט, באנרי העוגיות והכותרות התחתונות. בקש את הדף כטקסט נקי, או רק את רשימת הקישורים שבו כשהמשימה היא להחליט מה לקרוא הלאה.

הקריאה מתבצעת ב-Firecrawl, והיא שם ברגע שאתה מבקש: ללא הגדרה, ללא מפתח, שום דבר שהצוות שלך צריך לתחזק. היא נשארת צרה במכוון: דף אחד לבקשה. מציאת דפים היא עבודת חיפוש באינטרנט, וכל דבר שמאחורי כניסה או לחיצה שייך לדפדפן המרוחק.

מה זה גירוד אתרים

כל משימת מחקר מגיעה לנקודה שבה תוצאת חיפוש אינה מספיקה ואתה צריך את מה שהדף באמת אומר. להשיג זאת נכון קשה יותר ממה שזה נראה. דפים טוענים חצי מהתוכן שלהם עם סקריפטים, והטקסט השימושי יושב בין תפריטים, באנרים ופרסומות.

ב-Okou החלק הזה כבר נפתר עבורך. הסוכן שולח קישור ציבורי אחד ומקבל את הדף בחזרה כטקסט נקי שהוא יכול לקרוא ולסכם, או כרשימה של כל קישור עליו.

חלק מהדפים מתנגדים לקריאה רגילה. עבור אלה קיים מצב חזק יותר, והסוכן צריך לבקש אותו, מכיוון שהוא עולה יותר לדף ואתה אמור להיות מסוגל לראות מתי זרימת עבודה בחרה בו.

זה אותו דבר שאנשים קונים כ-API לגרידת אתרים. ההבדל הוא שאתה לא צריך לקנות: זה כבר בהרצה, אז אתה מבקש את הדף בהודעה והסוכן מחזיר את מה שיש בו.

מה גירוד אתרים יכול לעשות

מה סוכן יכול לעשות עם זה, ומה חוזר כשהוא עושה זאת.

מה אתה נותן לוקישור אחד לדף אינטרנט ציבורי
מה חוזרהעמוד כטקסט קריא ונקי, או רשימה של הקישורים שלו
לדפים עקשנייםמצב חזק יותר שהסוכן מבקש בכוונה
מה הוא לא יכול לפתוחכל דבר שמאחורי כניסה

כיסוי ומגבלות

מה הוא לא עושה, נאמר מראש, כדי שאף אחד לא יתכנן זרימת עבודה סביב משהו שאינו בתחום.

דפים ציבוריים בלבד

אין צורך בהתחברות, כך שדף מאחורי התחברות, חומת תשלום או חומת בוטים אינו בתחום. לשם כך נועד הדפדפן המרוחק.

דף אחד בכל פעם

הוא קורא את הדף שאליו אתה מפנה אותו. הוא אינו משוטט בשאר האתר, כך שקריאת אתר שלם פירושה בקשה דף אחר דף ותשלום דף אחר דף.

המצב היקר הוא בחירה

רוב הדפים נקראים היטב בדרך הרגילה. המצב החזק יותר עולה יותר וסוכן צריך לבקש אותו, כך שתהליך עבודה לעולם לא מתייקר בשקט.

מה שחוזר הוא מידע, לא פקודות

טקסט מדף אינטרנט מטופל כמשהו לקריאה, לעולם לא כהוראות למעקב. זה מה שמונע מדף עוין לשכנע סוכן לעשות משהו אחר.

כמה עולה גירוד אתרים

שירותי אינטרנט מחויבים בקרדיטים לפי קריאה, ולא לפי אסימון. אין חשבון נפרד של ספק שצריך להתאים לחיובים.

חיובשני מצבי חיוב, סטנדרטי ומשופר
פועל עלFirecrawl
פקודהzero scrape

קריאת עמוד צורכת קרדיטים, והמצב החזק יותר עולה יותר מהרגיל. אין שום דבר אחר לקנות ואין מינימום, כך שזרימת עבודה שקוראת שלושה עמודים בשבוע משלמת רק על העבודה שהיא עושה.

שמות מוצרים ולוגואים שייכים לבעליהם ומופיעים כאן רק כדי לציין על מה שירות פועל. הם אינם מרמזים על כל תמיכה או שותפות.

הגדרה וגישה

אין מה להגדיר

אין מה לחבר. אין הרשמה, אין מפתח להדביק, שום דבר לא נוסף לרשימת המחברים שלך. זה ההבדל בין זה לבין מחבר Firecrawl בקטלוג של Okou: המחבר עובד מול חשבון Firecrawl שלך כאשר כבר יש לך אחד, וזה פשוט זמין לכל סוכן לשימוש.

מי יכול להשתמש בזה

קריאת דפי אינטרנט היא הרשאה שאתה מעניק, לא משהו שיש לכל סוכן. תן אותה לסוכנים ולאנשים שצריכים אותה, כל עוד הם צריכים אותה, וקח אותה בחזרה מבלי לגעת בשום דבר אחר שהסוכן יכול לעשות.

למה צוותים משתמשים ב-גירוד אתרים

קריאת הדף שמאחורי תוצאת חיפוש

חיפוש נותן לך כותרת ושתי שורות. רוב העבודה דורשת את הגוף, ולכן התבנית היא חיפוש תחילה, בחירת שתיים או שלוש התוצאות החשובות, ואז קריאתן בלבד.

צפייה בדפים שאין להם דרך כניסה אחרת

תמחור מתחרים, יומני שינויים, דפי סטטוס, הודעות רגולטוריות. סוכן מתוזמן קורא את הדף, משווה אותו לשבוע שעבר, ומודיע לך רק כשמשהו זז.

הפיכת מסמך ארוך לחומר עבודה

מפרט, דוח שנתי, מרכז עזרה. טקסט נקי הוא ההבדל בין סיכום המסמך לסיכום תפריט הניווט שלו.

מתי לא להשתמש ב-גירוד אתרים

דלג עליו כאשר הדף דורש כניסה, לחיצה או טופס, והשתמש במקום זאת בדפדפן המרוחק. דלג עליו לקריאת אתר שלם, כאשר עלות הדף מצטברת מהר יותר ממה שהתשובה שווה. ודלג עליו כאשר המקור מפרסם נתונים משלו, שהם כמעט תמיד יציבים יותר מקריאת הדפים שלו.

איך זה נקרא במקומות אחרים

אותו דבר נקרא בכמה שמות בשוק. אם קניתם אחד מאלה, כך הוא ממופה למה שאתם מקבלים כאן.

גירוד אתרים API

השם הרגיל לתשלום לשירות כדי לאחזר דף ולהחזיר את הטקסט שלו. זה בדיוק מה שזה. החשבון והמפתח שייכים ל-Okou ולא לך.

גירוד ללא כתיבת כלי גירוד

אין מה לבנות ואין מה לתחזק. אתה מבקש את הדף בהודעה, והשליפה והניקוי מתרחשים בתוך הריצה.

HTML ל-Markdown

ההמרה שאנשים בדרך כלל כותבים בעצמם: עמוד של HTML נכנס, Markdown נקי יוצא. זה קורה לפני שהטקסט מגיע לסוכן, וזו הסיבה שמודל מקדיש את תשומת ליבו לתוכן במקום לסימון.

גירוד נתונים מהאינטרנט באמצעות AI או LLM

גירוד שפלטו נועד להיקרא על ידי מודל ולא לניתוח על ידי קוד. זהו אותו אחזור, הנשפט לפי האם הטקסט קריא ולא לפי האם בורר עדיין תואם.

גירוד אתרים ללא קוד

אף אחד לא כותב כאן סקרייפר. אתה מבקש את הדף בהודעה והסוכן מבצע את השליפה, וזה מה שאנשים מחפשים כשהם מחפשים גירוד ללא קוד.

גירוד אתרים בהשוואה

גירוד אתרים לעומת בניית סקרייפר משלך

אותו פלט, כמות עבודה שונה מאוד. לבד זוהי שירות לבחור או מביא לכתוב, מפתח שמישהו צריך לשמור עליו בטוח, ותחזוקה בכל פעם שדף משנה צורה. כאן אתה שואל וקורא את התשובה, והגישה היא הרשאה במקום סוד משותף.

גירוד אתרים לעומת מחבר Firecrawl

Okou גם מספק מחבר Firecrawl, וזו הבחירה הנכונה אם כבר יש לך חשבון Firecrawl ואתה רוצה את השימוש שם, או שאתה צריך משהו שהשירות הזה לא מכסה. המובנה מתאים כאשר אתה מעדיף פשוט לשאול ולקבל את הדף.

גירוד אתרים לעומת נהיגה בדפדפן בעצמך

דפדפן שאתה מפעיל הוא בעל יכולות רבות יותר והרבה יותר עבודה, ועדיין עליך להפוך את הדף לטקסט קריא לאחר מכן. השתמש בדפדפן המרוחק כאשר העבודה באמת דורשת לחיצות, ובזה כאשר אתה רק צריך את מה שהדף אומר.

הגרסה הקצרה

הדרך המוגדרת כברירת מחדל לקרוא דף אינטרנט ב-Okou. אם הדף ציבורי ואתה רוצה את מה שיש בו, זהו שלב אחד, ללא חשבון, וחיוב לכל עמוד. כל דבר שדורש התחברות או לחיצה שייך לדפדפן המרוחק.

שאלות נפוצות

האם אני צריך חשבון Firecrawl?

לא. קריאת דף היא משהו שכל סוכן כבר יכול לעשות, אז אתה פשוט שואל. אין חשבון ליצור ואין מפתח להחזיק.

במה זה שונה ממחבר Firecrawl?

המחבר פועל מול חשבון Firecrawl שלך כאשר כבר יש לך אחד ואתה רוצה את השימוש שם. השירות המובנה מוכן לשימוש ללא צורך בהגדרה.

האם הוא יכול לקרוא דפים מאחורי כניסה?

לא. הוא פותח דפים ציבוריים ללא כניסה. השתמש בדפדפן המרוחק, שיכול להישאר מחובר ולהיות נשלט על ידי אדם באמצע הדרך.

האם זה יכול לקרוא אתר שלם?

לא לבד. כל קריאה היא עמוד אחד, כך שכיסוי אתר פירושו שאילתה עמוד אחר עמוד, וכל עמוד מחויב. כדאי להגדיר מגבלה.

כמה עולה קריאת עמוד?

זיכויים לקריאה מוצלחת, עם חיוב גבוה יותר עבור המצב החזק יותר המשמש בדפים המתנגדים לקריאה רגילה. מצב זה לעולם אינו נבחר בשקט.

האם זה בטוח לפעול על פי מה שחוזר?

התייחס לזה כאל מידע. Okou מטפל בטקסט מדף אינטרנט כחומר לקריאה ולא כהוראות לביצוע, וזה מה שמונע מדף להפנות את הסוכן שקרא אותו.

האם אני עדיין צריך כלי גירוד?

עבור טקסט נקי מדף בתוך זרימת עבודה, לא: אתה יכול לבקש מסוכן ולקבל אותו. אם אתה רוצה את לוח המחוונים המקורי של ספק גירוד ואת סט התכונות המלא, חבר את החשבון שלך דרך המחבר במקום זאת.

איך העלות משתווה לתוכנית גירוד משלי?

כלי גירוד בדרך כלל מוכרים תוכניות חודשיות עם מינימום. כאן קריאת עמוד צורכת קרדיטים ללא התחייבות חודשית, מה שמתאים לתהליך עבודה שקורא קומץ עמודים בשבוע ושווה מדידה בנפח גבוה מאוד.

האם הוא יכול להחזיר Markdown למודל לקריאה?

כן. Markdown נקי הוא צורת ברירת המחדל, וזה מה שהופך דף לשימושי כהקשר ולא כקיר של סימונים.

האם אני צריך לכתוב סקרייפר או לתחזק סלקטורים?

לא. אין מה לכתוב ואין מה שמתקלקל כשמעצבים מחדש דף, כי אתה מבקש את טקסט הדף ולא את התוכן של אלמנט מסוים.

איך אתה מבקש גירוד אתרים

אתה מתאר מה אתה רוצה בשפה פשוטה. הסוכן מברר איזה שירות הוא צריך ומבצע את הקריאות.

קרא עמוד אחד

קרא את העמוד הזה ותן לי את חמשת הדברים החשובים, עם הניסוח המדויק לכל אחד.

מצא מה לקרוא, ואז קרא אותו

משוך את הקישורים מאינדקס תיעוד זה, ואז קרא את שלושת הקישורים על תמחור והשווה אותם.

צפה בדף לאורך זמן

בדוק את דף התמחור של המתחרים שלנו בכל יום שני וספר לי רק אם משהו השתנה.