【実践】LLM活用における4つの設計パターン - 大規模テキスト処理の課題と解決策

# よくある問題のあるコード
combined_content = all_documents[:8000]  # 8000文字以降は完全に消失

MAX_CONTEXT_TOKENS = 128000
PROMPT_OVERHEAD = 3000
RESPONSE_TOKENS = 16384
SAFETY_MARGIN = 0.8

# 日本語は 1 トークン ≒ 1 文字強。o200k_base(GPT-4o) の実測で 1.15〜1.4 文字/トークン、
# cl100k_base だと 0.69〜1.10 文字/トークン。安全側に倒して 1.0 で見積もる。
JP_CHARS_PER_TOKEN = 1.0

def calculate_max_chars(num_sections: int = 1) -> int:
    """利用可能なトークン数から最大文字数を動的に計算"""
    available = (MAX_CONTEXT_TOKENS - PROMPT_OVERHEAD - RESPONSE_TOKENS) * SAFETY_MARGIN
    return int(available * JP_CHARS_PER_TOKEN / num_sections)

import tiktoken

enc = tiktoken.get_encoding("o200k_base")  # GPT-4o 系。GPT-4 / GPT-3.5 系は cl100k_base
chars = sum(len(t) for t in sample_texts)
tokens = sum(len(enc.encode(t)) for t in sample_texts)
print(f"{chars / tokens:.2f} 文字/トークン")  # この実測値以下を JP_CHARS_PER_TOKEN にする

max_tokens: 4096（出力制限）
÷ 3セクション（要件/仕様/設計を一括生成）
= 各セクション約1300トークン（50-70行）

# Before
max_tokens = 4096

# After（モデルの最大出力を活用）
max_tokens = 16384

# 各セクションが独立して最大トークン数を使用可能
requirements = generate_section("requirements", max_tokens=16384)
specifications = generate_section("specifications", max_tokens=16384)
design = generate_section("design", max_tokens=16384)

【出力ルール】
すべての技術的な記述には引用マーカーを付与してください。
形式: [元ファイル:ファイル名.md:行n]

例:
- 最大速度は100km/hです。[元ファイル:仕様書.md:行42]

def verify_output(output: str, source_docs: dict) -> list[str]:
    """引用マーカーと元文書を照合して検証"""
    markers = parse_citation_markers(output)
    errors = []
    for marker in markers:
        if not exists_in_source(marker, source_docs):
            errors.append(f"検証失敗: {marker}")
    return errors

@dataclass
class ConsistencyCheck:
    is_consistent: bool = True
    warnings: list[str] = field(default_factory=list)
    static_function_count: int = 0
    llm_function_count: int = 0

def check_consistency(static_result, llm_result) -> ConsistencyCheck:
    check = ConsistencyCheck()
    check.static_function_count = static_result.function_count
    check.llm_function_count = count_functions_in_llm_output(llm_result)
    
    # 50%以上の乖離で警告
    if check.static_function_count > 0:
        diff_rate = abs(check.llm_function_count - check.static_function_count) / check.static_function_count
        if diff_rate > 0.5:
            check.warnings.append(
                f"静的解析({check.static_function_count}個)とLLM出力({check.llm_function_count}個)に乖離があります"
            )
            check.is_consistent = False
    
    return check