STT기능

녹음 후 STT를 통해 텍스트를 추출하고, 추출된 텍스트로 부터 문서를 만들어 주는 기능이 있으나, 공개된 문서 중에는 해당 기능을 사용한 문서가 없습니다.

STT 기능 사용 시 파이프라인

녹음 시 문서가 되기까지 파이프라인 입니다.

• 조용한 구간에서 음성이 잘못 인식되어 그럴듯한 문서가 되는 것을 막는 것을 막으려고 했습니다.

flowchart TD
  A["녹음 · 업로드<br/>브라우저 MediaRecorder"] --> B["오디오 저장<br/>확장자는 매직 바이트로 판정"]
  B --> V{"영상인가"}
  V -->|예| V1["오디오 트랙만 스트림 복사<br/>PyAV · 재인코딩 없음"]
  V1 --> C
  V -->|아니오| C["전사 faster-whisper large-v3<br/>VAD off · 5분 창마다 리셋"]
  C --> D["화자 분리 pyannote<br/>90초 미만이면 건너뜀"]
  D --> E{"커버리지 판정<br/>글자수 / 분"}
  E -->|"100자/분 이하"| F["문서를 만들지 않음<br/>녹취록은 보존 · 그래도 만들기 가능"]
  E -->|통과| G["문서 설계 LLM 1차<br/>섹션 구성을 JSON 으로"]
  G --> H["작성 LLM 2차<br/>1차의 계획을 그대로 프롬프트로"]
  H --> I["마크다운 → TipTap 문서<br/>녹취록은 접이식으로 임베드"]
  I --> J["임베딩 색인<br/>문서에게 묻기의 재료"]

VAD 를 끄고, 언어는 파일당 한 번만 결정.

Voice Activity Detection(음성 활동 감지)가 있으나, 녹음한 파일에서 계속 중요한 대화 내용을 통째로 버리는 현상이 있어서 VAD는 끔. 그렇게 하니 무음 구간에서 환각이 계속 생기는데, 텍스트만 보면 진짜 사람 말과 구분되지 않아서 오디오 RMS 로 필터링. 실제 녹음 파일을 기준으로 threshold를 정함.

언어 판정에서 계속 오류남. 일정 구간 마다 언어를 정하면 앞 구간이 조용한 경우 영어로 판정해 버리고, 그러면 Whisper 는 한국어를 잘못 듣는 게 아니라 올바르게 인식한 한국어를 영어로 번역한 문장을 내놓음. 내용 상으로는 읽으면 멀쩡해서 헷갈릴 수 있음. 지금은 소리가 실제로 있는 지점 여러 곳을 찔러버보고 확률이 높은 것만 투표해서 정하고, 못 정했으면 오류가 있을 수 있음을 문서 상단에 표기.