
การขูดเว็บบน Okou
ให้ลิงก์แก่เอเจนต์ แล้วมันจะกลับมาพร้อมกับสิ่งที่หน้าเว็บพูดจริงๆ ในรูปแบบข้อความที่สะอาดและอ่านง่าย ไม่ต้องลงทะเบียนกับผู้ให้บริการสแครปปิ้ง
ข้อมูลเว็บ · ไม่ต้องตั้งค่า · โหมดการเรียกเก็บเงินสองแบบ: มาตรฐานและขั้นสูง
ชี้เอเจนต์ไปที่ลิงก์สาธารณะ แล้วมันจะอ่านหน้าเว็บให้คุณ: เฉพาะข้อความ ไม่ใช่เมนูนำทาง แบนเนอร์คุกกี้ และส่วนท้าย ขอหน้าเว็บเป็นข้อความล้วน หรือแค่รายการลิงก์บนหน้าเว็บเมื่อต้องการตัดสินใจว่าจะอ่านอะไรต่อไป
การอ่านทำงานบน Firecrawl และพร้อมใช้งานทันทีที่คุณขอ: ไม่ต้องตั้งค่า ไม่ต้องใช้คีย์ ไม่มีอะไรให้ทีมของคุณต้องดูแล มันยังคงจำกัดขอบเขตอย่างจงใจ: หนึ่งหน้าต่อหนึ่งคำขอ การค้นหาหน้าเว็บเป็นหน้าที่ของเว็บค้นหา และอะไรก็ตามที่อยู่หลังการลงชื่อเข้าใช้หรือการคลิกเป็นของเบราว์เซอร์ระยะไกล
การขูดเว็บ คืออะไร
งานวิจัยทุกชิ้นมาถึงจุดที่ผลการค้นหาไม่เพียงพอ และคุณต้องการสิ่งที่หน้าเว็บพูดจริงๆ การทำให้ถูกต้องนั้นยากกว่าที่คิด หน้าเว็บโหลดเนื้อหาครึ่งหนึ่งด้วยสคริปต์ และข้อความที่เป็นประโยชน์จะอยู่ระหว่างเมนู แบนเนอร์ และโฆษณา
บน Okou ส่วนนั้นได้รับการแก้ไขให้คุณแล้ว ตัวแทนส่งลิงก์สาธารณะหนึ่งลิงก์และได้รับหน้าเว็บกลับมาเป็นข้อความที่สะอาดซึ่งสามารถอ่านและสรุปได้ หรือเป็นรายการของทุกลิงก์บนหน้าเว็บนั้น
บางหน้าไม่สามารถอ่านได้ตามปกติ สำหรับหน้าเหล่านั้นมีโหมดที่แข็งแกร่งกว่า และเอเจนต์ต้องขอใช้ เพราะมีค่าใช้จ่ายต่อหน้ามากกว่า และคุณควรจะสามารถเห็นได้เมื่อเวิร์กโฟลว์เลือกใช้
มันเป็นสิ่งเดียวกันที่ผู้คนซื้อในฐานะ API สำหรับการขูดเว็บ ความแตกต่างคือคุณไม่ต้องซื้อ: มันอยู่ในรันแล้ว ดังนั้นคุณจึงขอหน้าในข้อความและเอเจนต์จะนำสิ่งที่อยู่ในนั้นกลับมา
สิ่งที่ การขูดเว็บ ทำได้
สิ่งที่เอเจนต์สามารถทำได้ด้วยสิ่งนี้ และสิ่งที่กลับมาเมื่อทำได้
ความครอบคลุมและข้อจำกัด
สิ่งที่ไม่ได้ทำ บอกไว้ล่วงหน้า เพื่อไม่ให้ใครวางแผนเวิร์กโฟลว์เกี่ยวกับสิ่งที่อยู่นอกขอบเขต
เฉพาะหน้าสาธารณะเท่านั้น
ไม่มีการลงชื่อเข้าใช้ ดังนั้นหน้าเว็บที่อยู่หลังการเข้าสู่ระบบ, paywall หรือ bot wall จึงอยู่นอกขอบเขต นั่นคือสิ่งที่เบราว์เซอร์ระยะไกลมีไว้สำหรับ
ทีละหน้า
มันอ่านหน้าที่คุณชี้ไป มันไม่ได้ท่องไปทั่วส่วนที่เหลือของเว็บไซต์ ดังนั้นการอ่านทั้งเว็บไซต์หมายถึงการถามทีละหน้าและจ่ายทีละหน้า
โหมดราคาแพงเป็นทางเลือก
หน้าส่วนใหญ่สามารถอ่านได้ตามปกติ โหมดที่แข็งแกร่งกว่ามีค่าใช้จ่ายสูงกว่าและตัวแทนต้องร้องขอ ดังนั้นเวิร์กโฟลว์จึงไม่เคยมีค่าใช้จ่ายเพิ่มขึ้นอย่างเงียบๆ
สิ่งที่กลับมาคือข้อมูล ไม่ใช่คำสั่ง
ข้อความจากหน้าเว็บจะถูกถือว่าเป็นสิ่งที่ต้องอ่าน ไม่ใช่คำแนะนำที่ต้องปฏิบัติตาม นั่นคือสิ่งที่หยุดหน้าเว็บที่เป็นอันตรายไม่ให้ชักจูงเอเจนต์ให้ทำสิ่งอื่น
ค่าใช้จ่ายของ การขูดเว็บ
บริการเว็บจะถูกเรียกเก็บเงินเป็นเครดิตต่อการเรียกใช้บริการ ไม่ใช่ต่อโทเค็น ไม่มีใบเรียกเก็บเงินจากผู้ขายแยกต่างหากให้กระทบยอด
zero scrapeการอ่านหน้าเว็บจะใช้เครดิต และโหมดที่แข็งแกร่งกว่ามีค่าใช้จ่ายมากกว่าโหมดปกติ ไม่มีอะไรอื่นให้ซื้อและไม่มีขั้นต่ำ ดังนั้นเวิร์กโฟลว์ที่อ่านสามหน้าต่อสัปดาห์จะจ่ายเฉพาะสำหรับงานที่ทำเท่านั้น
ชื่อผลิตภัณฑ์และโลโก้เป็นของเจ้าของและปรากฏที่นี่เพื่อระบุว่าบริการทำงานบนอะไรเท่านั้น ไม่ได้หมายความถึงการรับรองหรือการเป็นพันธมิตรใดๆ
การตั้งค่าและการเข้าถึง
ไม่ต้องตั้งค่าใดๆ
ไม่มีอะไรต้องเชื่อมต่อ ไม่มีการลงทะเบียน ไม่มีคีย์ให้วาง ไม่มีอะไรเพิ่มในรายการตัวเชื่อมต่อของคุณ นั่นคือความแตกต่างระหว่างสิ่งนี้กับตัวเชื่อมต่อ Firecrawl ในแค็ตตาล็อกของ Okou: ตัวเชื่อมต่อทำงานกับบัญชี Firecrawl ของคุณเองเมื่อคุณมีอยู่แล้ว และสิ่งนี้มีไว้สำหรับเอเจนต์ใดๆ ก็ตามที่จะใช้
ใครสามารถใช้ได้
การอ่านหน้าเว็บเป็นสิทธิ์ที่คุณมอบให้ ไม่ใช่สิ่งที่เอเจนต์ทุกคนมี ให้สิทธิ์นี้แก่เอเจนต์และบุคคลที่ต้องการ ตราบเท่าที่พวกเขาต้องการ และเรียกคืนได้โดยไม่ต้องแตะต้องสิ่งอื่นใดที่เอเจนต์นั้นสามารถทำได้
ทีมใดใช้ การขูดเว็บ เพื่ออะไร
การอ่านหน้าเว็บที่อยู่เบื้องหลังผลการค้นหา
การค้นหาให้คุณได้หัวข้อข่าวและสองบรรทัด งานส่วนใหญ่ต้องการเนื้อหา ดังนั้นรูปแบบคือค้นหาก่อน เลือกผลลัพธ์สองหรือสามรายการที่สำคัญ จากนั้นอ่านเฉพาะรายการเหล่านั้น
เฝ้าดูหน้าเว็บที่ไม่มีทางเข้าอื่น
ราคาคู่แข่ง, บันทึกการเปลี่ยนแปลง, หน้าสถานะ, ประกาศข้อบังคับ เอเจนต์ที่กำหนดเวลาไว้อ่านหน้าเว็บ เปรียบเทียบกับสัปดาห์ที่แล้ว และจะบอกคุณเฉพาะเมื่อมีบางอย่างเปลี่ยนแปลงไป
การเปลี่ยนเอกสารยาวๆ ให้เป็นวัสดุทำงาน
ข้อกำหนด รายงานประจำปี ศูนย์ช่วยเหลือ ข้อความที่สะอาดคือความแตกต่างระหว่างสรุปเอกสารกับสรุปเมนูนำทาง
เมื่อไม่ควรใช้ การขูดเว็บ
ข้ามไปเมื่อหน้าเว็บต้องการการลงชื่อเข้าใช้ การคลิก หรือแบบฟอร์ม และใช้เบราว์เซอร์ระยะไกลแทน ข้ามไปสำหรับการอ่านทั้งไซต์ ซึ่งค่าใช้จ่ายต่อหน้าจะเพิ่มขึ้นเร็วกว่ามูลค่าของคำตอบ และข้ามไปเมื่อแหล่งที่มาเผยแพร่ข้อมูลที่เหมาะสมของตัวเอง ซึ่งเกือบจะเสถียรกว่าการอ่านหน้าเว็บของมันเสมอ
สิ่งนี้ถูกเรียกว่าอะไรที่อื่น
สิ่งเดียวกันนี้มีหลายชื่อในตลาด หากคุณเคยซื้อสิ่งเหล่านี้ นี่คือวิธีที่มันเชื่อมโยงกับสิ่งที่คุณได้รับที่นี่
การขูดเว็บ API
ชื่อปกติสำหรับการจ่ายเงินให้บริการเพื่อดึงหน้าเว็บและส่งคืนข้อความ นั่นคือสิ่งนี้อย่างแท้จริง บัญชีและคีย์เป็นของ Okou ไม่ใช่ของคุณ
การขูดข้อมูลโดยไม่ต้องเขียนเครื่องมือขูดข้อมูล
ไม่มีอะไรต้องสร้างและไม่มีอะไรต้องบำรุงรักษา คุณขอหน้าเว็บในข้อความ และการดึงข้อมูลและการทำความสะอาดจะเกิดขึ้นภายในรัน
HTML เป็น Markdown
การแปลงที่คนทั่วไปมักจะเขียนเอง: หน้า HTML เข้ามา, Markdown ที่สะอาดออกไป สิ่งนี้เกิดขึ้นก่อนที่ข้อความจะไปถึงเอเจนต์ ซึ่งเป็นเหตุผลว่าทำไมโมเดลจึงใช้ความสนใจไปที่เนื้อหาแทนที่จะเป็นมาร์กอัป
AI หรือ LLM การขูดเว็บ
การขูดข้อมูลที่ผลลัพธ์มีไว้สำหรับโมเดลอ่านมากกว่าการแยกวิเคราะห์ด้วยโค้ด เป็นการดึงข้อมูลแบบเดียวกัน โดยตัดสินจากว่าข้อความสามารถอ่านได้หรือไม่ แทนที่จะตัดสินจากว่าตัวเลือกยังคงตรงกันหรือไม่
การขูดเว็บแบบไม่ต้องเขียนโค้ด
ไม่มีใครเขียนสแครปเปอร์ที่นี่ คุณขอหน้าเว็บในข้อความและเอเจนต์จะทำการดึงข้อมูล ซึ่งเป็นสิ่งที่ผู้คนกำลังมองหาเมื่อค้นหาการสแครปโดยไม่มีโค้ด
เปรียบเทียบ การขูดเว็บ
การขูดเว็บ เทียบกับ การสร้างเครื่องมือขูดข้อมูลของคุณเอง
ผลลัพธ์เหมือนกัน แต่ใช้ความพยายามต่างกันมาก หากทำเอง คุณต้องเลือกบริการหรือเขียนตัวดึงข้อมูลเอง ต้องมีคนคอยดูแลคีย์ให้ปลอดภัย และต้องบำรุงรักษาทุกครั้งที่หน้าเว็บเปลี่ยนรูปแบบ ที่นี่คุณเพียงแค่ถามและอ่านคำตอบ และการเข้าถึงเป็นสิทธิ์แทนที่จะเป็นความลับที่ต้องแบ่งปัน
การขูดเว็บ เทียบกับ ตัวเชื่อมต่อ Firecrawl
Okou ยังมีตัวเชื่อมต่อ Firecrawl และนั่นคือตัวเลือกที่ถูกต้องหากคุณมีบัญชี Firecrawl อยู่แล้วและต้องการใช้งานที่นั่น หรือต้องการสิ่งที่บริการนี้ไม่ครอบคลุม ตัวเชื่อมต่อในตัวนั้นถูกต้องเมื่อคุณต้องการเพียงแค่ถามและรับหน้าเว็บ
การขูดเว็บ เทียบกับ การขับเคลื่อนเบราว์เซอร์ด้วยตัวเอง
เบราว์เซอร์ที่คุณใช้งานมีความสามารถมากกว่าและต้องทำงานมากกว่ามาก และคุณยังคงต้องเปลี่ยนหน้าให้เป็นข้อความที่อ่านได้หลังจากนั้น ใช้เบราว์เซอร์ระยะไกลเมื่องานต้องการการคลิกจริงๆ และใช้สิ่งนี้เมื่อคุณต้องการเพียงสิ่งที่หน้าเว็บกล่าว
ฉบับย่อ
วิธีเริ่มต้นในการอ่านหน้าเว็บบน Okou หากหน้าเว็บเป็นสาธารณะและคุณต้องการเนื้อหาในนั้น นี่คือขั้นตอนเดียว ไม่ต้องมีบัญชี และมีค่าใช้จ่ายต่อหน้า สิ่งใดก็ตามที่ต้องลงชื่อเข้าใช้หรือคลิกเป็นของเบราว์เซอร์ระยะไกล
คำถามที่พบบ่อย
ฉันต้องมีบัญชี Firecrawl หรือไม่
ไม่ การอ่านหน้าเว็บเป็นสิ่งที่เอเจนต์ใดๆ ก็สามารถทำได้อยู่แล้ว ดังนั้นคุณเพียงแค่ถาม ไม่ต้องสร้างบัญชีและไม่ต้องเก็บคีย์
สิ่งนี้แตกต่างจากตัวเชื่อมต่อ Firecrawl อย่างไร
ตัวเชื่อมต่อจะทำงานกับบัญชี Firecrawl ของคุณเองเมื่อคุณมีบัญชีอยู่แล้วและต้องการใช้งานที่นั่น บริการในตัวพร้อมใช้งานโดยไม่ต้องกำหนดค่าใดๆ
สามารถอ่านหน้าเว็บที่อยู่หลังการเข้าสู่ระบบได้หรือไม่
ไม่ มันเปิดหน้าสาธารณะโดยไม่ต้องลงชื่อเข้าใช้ ใช้เบราว์เซอร์ระยะไกล ซึ่งสามารถลงชื่อเข้าใช้และให้บุคคลควบคุมได้ในระหว่างทาง
มันสามารถอ่านเว็บไซต์ทั้งหมดได้หรือไม่
ไม่ใช่ด้วยตัวมันเอง การอ่านแต่ละครั้งคือหนึ่งหน้า ดังนั้นการครอบคลุมเว็บไซต์หมายถึงการถามทีละหน้า และแต่ละหน้ามีค่าใช้จ่าย ควรตั้งค่าขีดจำกัด
การอ่านหน้าหนึ่งหน้ามีค่าใช้จ่ายเท่าไร
เครดิตต่อการอ่านที่สำเร็จ โดยมีค่าใช้จ่ายสูงขึ้นสำหรับโหมดที่แข็งแกร่งกว่าที่ใช้กับหน้าที่ไม่สามารถอ่านได้ตามปกติ โหมดนั้นไม่เคยถูกเลือกอย่างเงียบๆ
ปลอดภัยหรือไม่ที่จะดำเนินการตามสิ่งที่ได้รับกลับมา?
ถือว่าเป็นข้อมูล Okou จัดการข้อความจากหน้าเว็บเป็นเนื้อหาที่ต้องอ่านมากกว่าคำแนะนำที่ต้องปฏิบัติตาม ซึ่งเป็นสิ่งที่ทำให้หน้าเว็บไม่เปลี่ยนเส้นทางตัวแทนที่อ่านมัน
ฉันยังคงต้องใช้เครื่องมือขูดข้อมูลหรือไม่
สำหรับข้อความที่สะอาดจากหน้าเว็บภายในเวิร์กโฟลว์ ไม่: คุณสามารถถามตัวแทนและรับได้ หากคุณต้องการแดชบอร์ดและชุดคุณสมบัติเต็มรูปแบบของผู้ขายการขูดข้อมูล ให้เชื่อมต่อบัญชีของคุณเองผ่านตัวเชื่อมต่อแทน
ต้นทุนเปรียบเทียบกับการวางแผนการขูดข้อมูลของฉันเองอย่างไร
เครื่องมือขูดข้อมูลมักจะขายแผนรายเดือนพร้อมขั้นต่ำ ที่นี่การอ่านหน้าเว็บจะใช้เครดิตโดยไม่มีข้อผูกมัดรายเดือน ซึ่งเหมาะกับเวิร์กโฟลว์ที่อ่านหน้าเว็บไม่กี่หน้าต่อสัปดาห์และคุ้มค่าที่จะวัดในปริมาณที่สูงมาก
สามารถส่งคืน Markdown ให้โมเดลอ่านได้หรือไม่?
ใช่ Markdown ที่สะอาดเป็นรูปแบบเริ่มต้น ซึ่งเป็นสิ่งที่ทำให้หน้าเว็บสามารถใช้เป็นบริบทได้ แทนที่จะเป็นกำแพงของมาร์กอัป
ฉันต้องเขียนสแครปเปอร์หรือดูแลตัวเลือกหรือไม่
ไม่ ไม่มีอะไรต้องเขียนและไม่มีอะไรเสียหายเมื่อมีการออกแบบหน้าเว็บใหม่ เพราะคุณกำลังขอข้อความของหน้าเว็บแทนที่จะเป็นเนื้อหาขององค์ประกอบเฉพาะ
วิธีที่คุณขอ การขูดเว็บ
คุณอธิบายสิ่งที่คุณต้องการด้วยภาษาธรรมดา เอเจนต์จะพิจารณาว่าต้องการบริการใดและทำการเรียก
“อ่านหน้านี้และบอกฉันห้าสิ่งที่สำคัญ พร้อมคำพูดที่แน่นอนสำหรับแต่ละรายการ”
“ดึงลิงก์ออกจากดัชนีเอกสารนี้ จากนั้นอ่านสามรายการเกี่ยวกับราคาและเปรียบเทียบ”
“ตรวจสอบหน้าการกำหนดราคาของคู่แข่งทุกวันจันทร์ และแจ้งฉันเฉพาะเมื่อมีการเปลี่ยนแปลงเท่านั้น”

