LlamaIndex

RAGアプリでFirecrawlとLlamaIndexを活用する

Webコンテンツを基にしたベクトル検索と埋め込みを用いて、FirecrawlをLlamaIndexと統合し、AIアプリケーションを構築します。

​

セットアップ

npm install llamaindex @llamaindex/openai @mendable/firecrawl-js

「.env」ファイルを作成:

FIRECRAWL_API_KEY=your_firecrawl_key
OPENAI_API_KEY=your_openai_key

注意: Node < 20 を使用する場合は、dotenv をインストールし、コードに import 'dotenv/config' を追加してください。

​

ベクトル検索を用いたRAG

この例では、LlamaIndex と Firecrawl を使ってウェブサイトをクロールし、埋め込みを作成し、RAG でコンテンツを検索・照会する方法を示します。

import Firecrawl from '@mendable/firecrawl-js';
import { Document, VectorStoreIndex, Settings } from 'llamaindex';
import { OpenAI, OpenAIEmbedding } from '@llamaindex/openai';

Settings.llm = new OpenAI({ model: "gpt-4o" });
Settings.embedModel = new OpenAIEmbedding({ model: "text-embedding-3-small" });

const firecrawl = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY });
const crawlResult = await firecrawl.crawl('https://firecrawl.dev', {
  limit: 10,
  scrapeOptions: { formats: ['markdown'] }
});
console.log(`${crawlResult.data.length}ページをクロールしました`);

const documents = crawlResult.data.map((page: any, i: number) =>
  new Document({
    text: page.markdown,
    id_: `page-${i}`,
    metadata: { url: page.metadata?.sourceURL }
  })
);

const index = await VectorStoreIndex.fromDocuments(documents);
console.log('埋め込みを含むベクトルインデックスを作成しました');

const queryEngine = index.asQueryEngine();
const response = await queryEngine.query({ query: 'Firecrawlとは何ですか?どのように機能しますか?' });

console.log('\n回答:', response.toString());

さらに例については、LlamaIndexのドキュメントを参照してください。