Ricerca e Scraping Web

Trova fonti aggiornate con Venice Web Search ed estrai le pagine come Markdown con Venice Web Scrape, via /augment/search e /augment/scrape.

Venice fornisce API separate per scoprire pagine web ed estrarne il contenuto:

• Web Search restituisce risultati strutturati con titoli, URL, snippet e date.
• Web Scrape converte una pagina pubblica selezionata in Markdown.

Usale insieme quando la tua applicazione ha bisogno di materiale sorgente aggiornato e ispezionabile prima dell’inferenza.

​

Cercare sul web

Invia una query all’API Search:

curl https://api.venice.ai/api/v1/augment/search \
  -H "Authorization: Bearer $VENICE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"query":"latest developments in decentralized AI"}'

Brave è il provider predefinito e offre Zero Data Retention. È disponibile anche Google con query anonimizzate instradate tramite Venice. Consulta il riferimento API Web Search per la selezione del provider e lo schema di risposta completo.

​

Estrarre una pagina

Dopo aver selezionato un risultato, invia il suo URL pubblico all’API Scrape:

curl https://api.venice.ai/api/v1/augment/scrape \
  -H "Authorization: Bearer $VENICE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url":"https://example.com/article"}'

L’endpoint restituisce il contenuto della pagina in Markdown. Innanzitutto richiede la rappresentazione Markdown nativa del sito quando disponibile e altrimenti utilizza un’estrazione basata su browser.

​

Flusso search-to-scrape

1. Cerca

   Invia una query mirata e raccogli i risultati strutturati.

2. Seleziona le fonti

   Filtra i risultati per rilevanza, dominio e data prima di recuperare il contenuto delle pagine.

3. Estrai

   Estrai il Markdown solo dalle pagine che la tua applicazione intende utilizzare.

4. Usa o memorizza il contenuto

   Includi il Markdown in un prompt, crea embedding, mettilo in cache, oppure conserva gli URL sorgente per le citazioni.

​

API standalone o web search del modello?

Usa le API standalone quando la tua applicazione ha bisogno di controllo sulla selezione delle fonti o vuole riutilizzare il contenuto recuperato. Abilita la web search su una richiesta al modello quando desideri che Venice gestisca il retrieval come parte di un’unica richiesta di inferenza.

Esigenza	Approccio
Ispezionare o filtrare i risultati prima dell’inferenza	Web Search standalone
Estrarre un URL specifico noto	Web Scrape standalone
Mettere in cache o riutilizzare il contenuto recuperato	API standalone
Lasciare che il modello recuperi automaticamente il contesto aggiornato	Web search del modello

Web Search e Web Scrape sono API sperimentali. I loro formati di richiesta e risposta possono cambiare senza preavviso. Web Scrape accetta solo pagine accessibili pubblicamente, e i siti che bloccano l’accesso automatizzato possono essere rifiutati.

​

Risorse correlate

Stai costruendo una pipeline search-to-scrape? Risposte con citazioni tramite Web Search illustra passo dopo passo l’intero flusso di lavoro, comprese la selezione delle fonti, la gestione delle pagine che non si estraggono correttamente e la produzione di una risposta in cui ogni affermazione risale a un URL.

• Riferimento API Web Search
• Riferimento API Web Scrape
• Risposte con citazioni tramite Web Search
• Agente di ricerca privato
• Embeddings