AI 용어 FAQ

Question 1

ChatGPT와 GPT 모델은 같은 것인가요?

Accepted Answer

AI 모델은 입력을 처리해 출력을 만드는 엔진이고, AI 서비스는 모델에 검색·파일·보안·결제 같은 기능을 더한 완성형 제품입니다. ChatGPT 안에서는 여러 GPT 모델과 이미지, 음성, 검색 도구가 함께 동작할 수 있습니다. 반대로 같은 모델도 API, 자체 서버, 다른 서비스에서 서로 다른 사용 조건으로 제공될 수 있습니다. 서비스의 개인정보 정책과 모델의 가중치 라이선스는 별개입니다. 이름이 비슷해도 요금과 데이터 처리 조건을 각각 확인해야 합니다.

Question 2

LLM은 무엇을 뜻하나요?

Accepted Answer

LLM은 많은 텍스트를 학습해 다음에 올 말의 가능성을 계산하고, 이를 바탕으로 글쓰기·요약·질문 답변을 수행하는 모델입니다. 단순한 문장 자동완성을 매우 큰 규모로 확장한 것으로 볼 수 있습니다. 언어 패턴에는 강하지만 사실을 데이터베이스처럼 그대로 저장하거나 항상 정확하게 꺼내는 장치는 아닙니다. 파라미터가 크다고 모든 업무에서 더 좋은 것은 아닙니다. 언어, 문서 형식, 속도와 비용을 실제 자료로 함께 평가해야 합니다.

Question 3

좋은 프롬프트는 길고 자세해야 하나요?

Accepted Answer

프롬프트는 AI에 주는 요청과 맥락입니다. 길이보다 목적, 입력 자료, 원하는 결과와 지켜야 할 조건이 분명한지가 중요합니다. 좋은 요청은 보통 “무엇을”, “누구를 위해”, “어떤 자료를 근거로”, “어떤 형태로” 만들지 포함합니다. 예시 한두 개를 주면 문체나 출력 구조를 맞추는 데 도움이 됩니다. 프롬프트만으로 정확성이나 보안이 보장되지는 않습니다. 중요한 규칙은 제품 설정, 권한과 후처리 검증으로도 강제해야 합니다.

Question 4

토큰은 글자 수와 같은가요?

Accepted Answer

토큰은 모델이 글을 읽고 만드는 단위입니다. 한 글자나 한 단어와 정확히 같지 않으며 언어와 모델의 토크나이저에 따라 달라집니다. API 비용과 최대 입력 길이는 흔히 토큰으로 계산합니다. 한국어는 어절, 조사와 글자 조합이 여러 토큰으로 나뉠 수 있어 영어 단어 수만으로 비용을 환산하면 오차가 납니다. 문서 용량이 작다고 토큰도 적은 것은 아닙니다. 대량 업무는 실제 토크나이저나 공급사 사용량 화면으로 측정해야 합니다.

Question 5

문맥이 1M이면 긴 문서를 완벽히 이해하나요?

Accepted Answer

문맥 길이는 한 번의 요청에서 모델이 참고할 수 있는 입력과 출력의 최대 범위입니다. 최대 길이가 길어도 문서 중간의 작은 사실을 놓치거나 서로 떨어진 정보를 잘못 연결할 수 있습니다. 서비스가 파일을 자동 요약·검색해 일부만 모델에 보내는 경우도 있어 모델 사양과 실제 서비스 동작이 다릅니다. 최대 문맥은 곧 정확한 문맥이 아닙니다. 긴 입력은 속도와 비용, KV cache 메모리도 늘립니다.

Question 6

멀티모달 모델은 어떤 파일이든 이해하나요?

Accepted Answer

멀티모달은 텍스트 외에 이미지, 음성, 영상 같은 여러 형식의 입력이나 출력을 다룰 수 있다는 뜻입니다. 지원 형식과 품질은 모델마다 다릅니다. 이미지를 볼 수 있어도 작은 표 글자에 약할 수 있고, 영상 모델도 전체 영상을 직접 읽는 대신 선택된 프레임과 음성을 처리할 수 있습니다. “이미지 지원”만 보지 말고 해상도, 페이지 수, OCR, 한국어 자막과 파일 크기 제한을 확인하세요.

Question 7

Fast 모드는 성능이 낮은 모델인가요?

Accepted Answer

Fast는 보통 응답 시간을 줄이도록 계산량, 모델 크기 또는 추론 단계를 조정한 제품 모드입니다. 업계 공통 규격명은 아닙니다. 서비스에 따라 같은 모델의 추론 강도를 낮추기도 하고, 더 작은 모델로 자동 전환하기도 합니다. 간단한 요약과 초안에는 효율적이지만 복잡한 계산·계획에서는 실수가 늘 수 있습니다. Fast라는 이름만으로 어떤 모델이 쓰이는지 알 수 없습니다. 모델 고정 여부, 품질 차이와 사용량 차감을 서비스별로 확인하세요.

Question 8

Thinking을 켜면 모든 답이 더 좋아지나요?

Accepted Answer

Thinking은 답을 내기 전에 더 많은 계산과 중간 검토를 쓰는 모드 또는 모델을 뜻합니다. 수학, 코딩, 조건이 많은 계획처럼 여러 단계를 연결하는 문제에 유리할 수 있습니다. 반면 간단한 번역이나 문장 교정에서는 체감 품질보다 대기 시간과 비용만 늘어날 수 있습니다. 표시되는 “생각 과정”은 실제 내부 계산 전체와 같지 않을 수 있습니다. 긴 추론도 잘못된 전제에서 출발하면 틀릴 수 있습니다.

Question 9

AI는 왜 모르는 내용을 그럴듯하게 말하나요?

Accepted Answer

모델이 근거가 없거나 불충분한데도 자연스러운 답을 만들어 사실처럼 제시하는 현상을 말합니다. LLM은 기본적으로 문장의 가능성을 계산하므로 “모른다”를 자동 보장하지 않습니다. 검색, RAG, 출처 표시와 검증 절차로 위험을 낮출 수 있지만 완전히 없애지는 못합니다. 출처 링크가 있다는 이유만으로 안전하지 않습니다. 링크가 실제 주장과 맞는지 원문에서 확인해야 합니다.

Question 10

RAG는 회사 자료로 모델을 다시 학습하는 것인가요?

Accepted Answer

RAG는 질문과 관련된 문서 조각을 먼저 찾고, 그 내용을 프롬프트에 넣어 답하게 하는 방식입니다. 보통 모델 가중치를 다시 학습하지 않습니다. 문서 수집, 분할, 임베딩, 검색, 재정렬, 답변과 출처 표시가 하나의 흐름을 이룹니다. 자료가 바뀌면 검색 색인을 갱신할 수 있어 최신 사내 지식에 적합합니다. 검색이 틀린 문서를 가져오면 모델도 틀립니다. 검색 적중률, 문서 권한, 최신성, 인용 일치율을 따로 평가해야 합니다.

Question 11

임베딩은 문서를 요약하는 기술인가요?

Accepted Answer

임베딩은 문장, 이미지 또는 항목의 의미적 특징을 숫자 벡터로 바꾸는 표현 방식입니다. 뜻이 비슷한 항목이 벡터 공간에서 가까워지도록 학습됩니다. RAG 검색, 추천, 중복 탐지와 군집화에 쓰이며, 원문을 사람이 읽을 수 있는 요약으로 만드는 과정은 아닙니다. 언어와 도메인에 맞지 않는 임베딩 모델은 검색 품질을 낮춥니다. 한국어·표·코드 데이터를 별도로 평가하세요.

Question 12

벡터 DB가 있으면 RAG가 완성되나요?

Accepted Answer

벡터 DB는 임베딩을 저장하고 가까운 벡터를 빠르게 찾는 시스템입니다. RAG의 검색 구성 요소 중 하나입니다. 실제 품질에는 문서 분할, 메타데이터 필터, 키워드와 벡터를 섞는 하이브리드 검색, 재정렬이 함께 영향을 줍니다. 소규모 자료는 기존 검색 엔진이나 DB 확장으로도 충분할 수 있습니다. 접근 권한을 검색 이후에만 검사하면 다른 사용자의 문서가 노출될 수 있습니다. 검색 단계부터 권한을 적용해야 합니다.

Question 13

Grounding과 RAG는 같은 말인가요?

Accepted Answer

Grounding은 답변을 확인 가능한 자료나 도구 결과에 묶는 더 넓은 개념이고, RAG는 그 구현 방식 중 하나입니다. 웹 검색 결과, 데이터베이스 조회, 계산기 출력, 사내 문서를 답변 근거로 사용할 수 있습니다. 중요한 것은 출처가 있다는 표시보다 각 문장이 실제 근거에서 나온 것인지 추적할 수 있는 구조입니다. 근거 자료 자체가 오래되거나 잘못됐다면 답도 잘못됩니다. 출처 품질과 유효일을 함께 관리하세요.

Question 14

회사 자료를 학습시키면 사실을 정확히 기억하나요?

Accepted Answer

파인튜닝은 예시 데이터로 모델의 응답 방식이나 특정 작업 성능을 조정하는 추가 학습입니다. 일관된 분류, 말투, 형식 또는 전문 작업 패턴을 익히는 데 적합합니다. 자주 바뀌는 사실을 정확히 조회하는 용도라면 RAG나 도구 연결이 보통 더 관리하기 쉽습니다. 학습 데이터의 개인정보, 저작권, 편향과 삭제 요구를 관리해야 합니다. 기본 모델이 바뀌면 다시 평가할 필요도 있습니다.

Question 15

AI가 도구를 호출한다는 것은 무슨 뜻인가요?

Accepted Answer

모델이 검색, 계산, DB 조회, 이메일 작성 같은 외부 기능에 필요한 구조화된 요청을 만들고 애플리케이션이 이를 실행하는 방식입니다. 모델이 직접 데이터베이스에 손을 넣는 것이 아니라, 허용된 도구 이름과 입력 형식 중 하나를 선택합니다. 실행 결과를 다시 모델에 보내 다음 단계나 최종 답을 만들 수 있습니다. 모델이 잘못된 인자나 위험한 행동을 제안할 수 있습니다. 권한, 입력 검증, 승인 단계와 감사 로그가 필요합니다.

Question 16

JSON으로 답해달라고 쓰면 구조화 출력인가요?

Accepted Answer

구조화 출력은 답변이 미리 정한 JSON Schema 같은 형식을 따르도록 모델과 API가 제약하는 기능입니다. 프롬프트로 “JSON만” 요청하는 것보다 필드 누락과 형식 오류를 줄일 수 있습니다. 다만 형식이 맞는다는 뜻이지 필드 안의 사실과 계산이 맞다는 뜻은 아닙니다. 스키마 검증과 업무 규칙 검증을 구분하세요. 숫자 범위, 합계와 원문 일치 여부는 별도 코드로 확인해야 합니다.

Question 17

AI 에이전트는 사람처럼 스스로 일하나요?

Accepted Answer

에이전트는 목표를 받은 모델이 여러 단계에 걸쳐 도구를 고르고 결과를 확인하며 작업을 이어가는 소프트웨어 구성입니다. 일반 채팅보다 계획, 도구 호출, 상태 관리와 재시도가 강조됩니다. 자율성은 전부 허용하거나 금지하는 값이 아니라 읽기, 작성, 결제처럼 행동별로 다르게 설계해야 합니다. 단계가 길수록 작은 오류가 누적됩니다. 비용 한도, 최대 단계, 승인 지점, 되돌리기와 실행 기록이 필수입니다.

Question 18

AI 메모리는 대화 내용을 모두 영구 저장하나요?

Accepted Answer

메모리는 이전 대화나 사용자 선호를 다음 요청에 다시 활용하는 서비스 기능입니다. 구현과 보존 기간은 제품마다 다릅니다. 현재 대화창 안의 문맥, 계정 수준으로 저장된 선호, 외부 DB에서 검색한 장기 기억은 서로 다른 기능입니다. 모델 자체가 매 대화로 즉시 재학습된다는 뜻은 아닙니다. 민감정보가 저장될 범위와 삭제 방법, 조직 관리자 통제, 다른 프로젝트와의 분리를 확인하세요.

Question 19

Deep Research 결과는 일반 검색보다 믿을 만한가요?

Accepted Answer

여러 검색과 자료 읽기를 반복하고 출처를 묶어 긴 조사 결과를 만드는 에이전트형 기능입니다. 한 번의 웹 검색보다 넓은 자료를 검토할 수 있지만, 질문 범위와 출처 선택에 따라 결론이 달라집니다. 유료 자료나 로그인 뒤의 문서는 보지 못할 수 있습니다. 출처 수가 많아도 독립된 근거가 아닐 수 있습니다. 발행일, 원출처, 인용 문장과 반대 근거를 사람이 검토하세요.

Question 20

MCP는 새로운 AI 모델인가요?

Accepted Answer

MCP는 AI 애플리케이션이 외부 데이터와 도구에 연결되는 방식을 표준화한 공개 프로토콜입니다. 모델 자체가 아닙니다. MCP 서버는 읽을 자료와 실행할 도구를 노출하고, MCP 클라이언트가 이를 발견해 모델과 연결합니다. 같은 연동을 여러 AI 앱에서 재사용하기 쉬워지는 것이 핵심입니다. 연결이 쉬워져도 안전해지는 것은 아닙니다. 서버 출처, 도구 권한, 프롬프트 인젝션과 쓰기 작업 승인을 검토해야 합니다.

Question 21

Computer Use는 화면 매크로와 무엇이 다른가요?

Accepted Answer

모델이 화면 이미지나 접근성 정보를 보고 클릭, 입력, 스크롤 같은 행동을 선택해 GUI를 조작하는 기능입니다. 고정 좌표를 반복하는 매크로보다 화면 변화에 대응할 수 있지만, 팝업·광고·레이아웃 변경을 오해할 수 있습니다. API가 없는 오래된 시스템 자동화에 유용할 수 있습니다. 결제, 삭제, 외부 전송과 개인정보 화면은 사람 승인을 두세요. 격리된 브라우저, 허용 도메인과 행동 로그가 필요합니다.

Question 22

코딩 에이전트는 코드 자동완성과 무엇이 다른가요?

Accepted Answer

코딩 에이전트는 저장소를 탐색하고 여러 파일을 수정하며 명령과 테스트를 실행해 하나의 개발 작업을 끝까지 진행합니다. 한 줄 제안보다 범위가 넓고, 실행 결과를 보고 수정하는 반복 과정이 포함됩니다. 클라우드 샌드박스, 로컬 터미널 또는 IDE 안에서 동작할 수 있습니다. 비밀키, 배포 권한과 운영 DB를 분리하고 diff 검토를 거쳐야 합니다. 테스트 통과만으로 요구사항과 보안이 맞는 것은 아닙니다.

Question 23

MoE의 전체 파라미터와 활성 파라미터는 왜 다른가요?

Accepted Answer

MoE는 여러 전문가 블록 중 입력마다 일부만 선택해 계산하는 모델 구조입니다. 전체 가중치는 크지만 토큰 하나를 처리할 때 쓰는 활성 파라미터는 더 적을 수 있어 계산 효율을 노립니다. 다만 모든 가중치를 메모리에 올려야 하는 구성도 많아 저장·GPU 요구량이 활성 수치만큼 작아지지는 않습니다. 활성 파라미터만 보고 실행 가능 GPU를 판단하지 마세요. 라우팅, 통신과 메모리 대역폭도 성능에 큰 영향을 줍니다.

Question 24

4-bit 모델은 원본과 품질이 같은가요?

Accepted Answer

양자화는 가중치와 계산에 쓰는 숫자의 정밀도를 낮춰 모델 파일과 메모리 사용량을 줄이는 기술입니다. 16-bit를 8-bit나 4-bit로 줄이면 개인 GPU에서도 큰 모델을 실행할 수 있지만, 방식과 작업에 따라 정확도와 속도가 달라집니다. 같은 4-bit라도 GPTQ, AWQ, GGUF 등 형식과 런타임이 다릅니다. 양자화 제작자, 원본 모델 버전, 캘리브레이션 데이터와 라이선스를 확인하고 실제 업무 품질을 비교하세요.

Question 25

긴 문맥에서 GPU 메모리가 왜 급격히 늘어나나요?

Accepted Answer

KV cache는 이미 처리한 토큰의 attention 계산 결과 일부를 저장해 다음 토큰 생성 때 재사용하는 메모리입니다. 응답을 빠르게 만들지만 문맥 길이, 동시 요청, batch와 모델 구조에 따라 크기가 커집니다. 가중치가 GPU에 들어간다는 이유만으로 긴 문맥을 여러 사용자가 동시에 처리할 수 있는 것은 아닙니다. 모델 파일 크기 외에 최대 문맥, 동시성, cache 정밀도와 런타임 여유 메모리를 함께 산정하세요.

Question 26

Distill 모델은 원본 대형 모델의 축소판인가요?

Accepted Answer

지식 증류는 큰 교사 모델의 출력이나 추론 패턴을 이용해 더 작은 학생 모델을 학습하는 방법입니다. 학생 모델은 교사의 일부 능력을 낮은 비용으로 재현할 수 있지만, 구조를 그대로 잘라낸 복사본은 아닙니다. 데이터와 학습 목표에 따라 특정 작업에는 강하고 다른 영역에는 약할 수 있습니다. 이름에 원본 모델이 들어가도 파라미터, 라이선스, 채팅 형식과 안전 특성은 별도로 확인해야 합니다.

Question 27

AI 속도는 어떤 숫자로 비교해야 하나요?

Accepted Answer

TTFT는 첫 토큰이 나오기까지 걸린 시간이고, TPS는 이후 초당 생성되는 토큰 수입니다. 사용자는 첫 반응이 빠른지와 긴 답변이 빨리 완성되는지를 다르게 체감합니다. 입력 길이, 출력 길이, 동시 사용자 수와 서버 부하가 측정값을 바꿉니다. 공급사 최고 수치만 비교하지 말고 동일 지역, 동일 입력·출력 길이와 동시성에서 p50·p95 지연을 측정하세요.

Question 28

벤치마크 1위 모델이 우리 업무에도 가장 좋나요?

Accepted Answer

벤치마크는 정해진 문제와 채점 방식으로 모델 능력을 비교하는 시험입니다. 수학, 코딩, 지식, 지시 따르기처럼 평가마다 보는 능력이 다릅니다. 학습 데이터와 문제의 중복, 프롬프트와 채점 모델에 따라 점수가 달라질 수 있습니다. 공개 점수는 후보를 좁히는 신호로 쓰고, 실제 문서·실패 사례·비용·속도를 포함한 사내 평가로 결정하세요.

Question 29

가중치를 받을 수 있으면 오픈소스이고 상업 이용도 자유로운가요?

Accepted Answer

오픈웨이트는 모델 가중치를 내려받을 수 있다는 뜻이며, 소스·학습 데이터 공개와 상업 이용 권한까지 자동으로 의미하지 않습니다. Apache 2.0, MIT 같은 비교적 허용적인 조건도 있고, 매출·사용자 규모 제한, 사용 용도 제한, 비상업 조건이 붙은 전용 라이선스도 있습니다. 파생 양자화본은 원본 조건을 이어받을 수 있습니다. 모델 카드의 태그만 믿지 말고 원문 라이선스, acceptable use policy와 제3자 구성 요소를 출시 시점에 다시 검토하세요.

Question 30

생성형 AI는 기존 검색이나 분류 AI와 무엇이 다른가요?

Accepted Answer

생성형 AI는 학습한 패턴을 바탕으로 텍스트, 이미지, 음성, 영상이나 코드 같은 새 결과를 만드는 AI입니다. 정답 후보 중 하나를 고르는 분류 모델과 달리 입력 맥락에 맞춰 결과를 구성합니다. 다만 새로 생성했다는 말이 사실성, 독창성이나 저작권을 자동으로 보장하지는 않습니다. 중요한 결과는 근거, 원본과의 유사성, 개인정보와 제3자 권리를 사람이 검토해야 합니다.

Question 31

파운데이션 모델은 완성된 AI 서비스인가요?

Accepted Answer

파운데이션 모델은 넓은 데이터로 먼저 학습해 여러 작업에 재사용할 수 있는 기반 모델입니다. 한 기반 모델을 프롬프트, RAG, 도구 연결이나 추가 학습으로 다양한 제품에 적용할 수 있습니다. 실제 서비스에는 모델 외에도 검색, 저장, 권한, 안전 장치와 UI가 필요합니다. 모델 이름이 같아도 공급 채널, 버전, 시스템 프롬프트와 부가 도구에 따라 결과와 데이터 조건이 달라집니다.

Question 32

SLM은 단순히 성능이 낮은 LLM인가요?

Accepted Answer

SLM은 상대적으로 작은 파라미터와 연산량으로 특정 환경이나 작업의 효율을 높인 언어 모델입니다. 대형 모델보다 로컬 기기, 낮은 지연과 반복 작업에 유리할 수 있습니다. 좁은 업무에 맞춘 데이터와 평가를 쓰면 크기 차이보다 실용성이 높을 때도 있습니다. 작다는 기준은 고정돼 있지 않습니다. 품질뿐 아니라 메모리, 처리량, 배터리와 지원 언어를 실제 환경에서 측정하세요.

Question 33

AI 코파일럿은 에이전트와 같은 말인가요?

Accepted Answer

코파일럿은 사람이 주도하는 작업 옆에서 초안, 추천과 보조 기능을 제공하는 제품 표현입니다. 일반적으로 사용자가 결과를 확인하고 다음 행동을 선택합니다. 에이전트는 여러 단계와 도구 실행을 더 자율적으로 이어갈 수 있지만 제품마다 두 용어의 경계는 다릅니다. 코파일럿이라는 이름만으로 데이터 접근 범위나 자동 실행 여부를 알 수 없습니다. 권한과 승인 지점을 확인하세요.

Question 34

시스템 프롬프트는 사용자가 절대 바꿀 수 없는 규칙인가요?

Accepted Answer

시스템 프롬프트는 애플리케이션이 모델에 역할, 우선순위와 행동 지침을 전달하는 상위 수준 메시지입니다. 응답 스타일과 도구 사용 기준을 일관되게 만드는 데 유용하지만 모델이 모든 지시를 완벽히 지킨다는 보장은 없습니다. 공급사와 프레임워크에 따라 메시지 우선순위도 다릅니다. 보안, 권한과 법적 제한을 시스템 프롬프트에만 맡기지 말고 실행 코드와 정책 계층에서 강제하세요.

Question 35

Temperature를 0으로 하면 답이 항상 정확하고 같아지나요?

Accepted Answer

Temperature와 Top-p는 다음 토큰 후보를 고르는 범위와 무작위성을 조절하는 생성 설정입니다. 낮추면 대체로 일관성이 높아지고 높이면 표현이 다양해집니다. 모델과 API에 따라 지원 방식이 다르며 서버 처리와 병렬 계산 때문에 완전한 재현성이 보장되지는 않습니다. 낮은 값은 사실성 보장이 아니고 높은 값은 창의성 품질 보장이 아닙니다. 실제 평가 결과로 조정하세요.

Question 36

OCR이 되면 표와 문서 구조도 모두 이해하나요?

Accepted Answer

OCR은 이미지 속 글자를 텍스트로 바꾸고, Document AI는 여기에 표·레이아웃·필드와 문서 유형 이해를 더합니다. 문자 인식률이 높아도 행과 열, 각주, 도장과 읽기 순서가 틀릴 수 있습니다. 문서 AI는 구조화 결과를 주지만 문서 종류와 언어에 따라 품질 차이가 큽니다. 숫자와 고유명사는 원본 좌표와 함께 검증하고 손글씨, 저해상도와 회전 문서를 평가 세트에 포함하세요.

Question 37

STT와 TTS는 서로 반대 기능인가요?

Accepted Answer

STT는 음성을 텍스트로 전사하고, TTS는 텍스트를 사람이 말하는 듯한 음성으로 합성합니다. 실시간 대화에서는 음성 감지, STT, 언어 모델과 TTS가 연결됩니다. 하나의 음성 모델이 오디오를 직접 이해하고 생성하는 방식도 있어 제품 구조는 다를 수 있습니다. 화자 동의, 생체정보, 억양·방언, 지연 시간과 음성 복제 오남용을 함께 관리하세요.

Question 38

컨텍스트 엔지니어링은 프롬프트 엔지니어링의 새 이름인가요?

Accepted Answer

컨텍스트 엔지니어링은 모델이 매 단계에서 볼 지시, 대화, 자료, 도구 결과와 상태를 선별·구성하는 작업입니다. 한 문장의 프롬프트뿐 아니라 RAG 문서, 메모리, 도구 스키마, 이전 결과와 토큰 예산 전체를 다룹니다. 긴 문맥에 모두 넣기보다 필요한 정보를 정확한 시점에 제공하는 것이 핵심입니다. 불필요하거나 신뢰할 수 없는 맥락이 늘면 비용과 혼란, 프롬프트 인젝션 위험도 함께 커집니다.

Question 39

RAG 문서는 같은 글자 수로 잘라 넣으면 되나요?

Accepted Answer

Chunking은 긴 문서를 검색과 모델 입력에 적당한 의미 단위로 나누는 과정입니다. 고정 길이, 문장·문단, 제목 구조나 표 단위로 나눌 수 있고 일부 겹침을 둘 수도 있습니다. 너무 작으면 맥락이 끊기고 너무 크면 검색 결과가 흐려집니다. PDF 추출 순서와 표 구조가 깨진 상태에서 분할하면 검색 설정만 바꿔도 품질이 회복되지 않습니다.

Question 40

하이브리드 검색은 벡터 검색을 두 번 하는 것인가요?

Accepted Answer

하이브리드 검색은 의미 기반 벡터 검색과 정확한 단어를 찾는 키워드 검색을 결합하는 방식입니다. 의미가 비슷한 표현과 제품 코드·법령 번호 같은 정확한 문자열을 함께 찾을 수 있습니다. 두 점수의 결합과 메타데이터 필터가 최종 순위에 영향을 줍니다. 결합 비율 하나를 모든 질문에 고정하지 말고 질문 유형별 재현율과 정확도를 측정하세요.

Question 41

Reranker가 있으면 처음 검색은 대충 해도 되나요?

Accepted Answer

Reranker는 1차 검색 후보를 질문과 다시 비교해 관련도 순서를 정교하게 바꾸는 모델입니다. 벡터 DB가 빠르게 넓은 후보를 찾고 재정렬 모델이 상위 후보를 더 깊게 평가하는 2단계 구조가 일반적입니다. 1차 검색에서 빠진 문서는 재정렬로 되살릴 수 없습니다. 후보 수를 늘리면 지연과 비용도 증가합니다. 한국어와 실제 문서 유형으로 순위 품질을 평가하세요.

Question 42

GraphRAG는 벡터 데이터베이스를 그래프 DB로 바꾸는 것인가요?

Accepted Answer

GraphRAG는 문서에서 엔티티와 관계를 추출해 그래프·커뮤니티 정보를 만들고 이를 검색 맥락에 활용하는 RAG 방식입니다. 여러 문서에 흩어진 관계와 전체 주제를 요약하는 질문에 유리할 수 있습니다. 일반 벡터 검색과 함께 쓸 수 있으며 색인 과정에 추가 모델 호출과 저장 비용이 듭니다. 모든 질의에 필요한 것은 아닙니다. 단순 사실 조회는 일반 RAG가 더 저렴하고 정확할 수 있습니다.

Question 43

프롬프트 캐시는 AI가 이전 답을 기억하는 기능인가요?

Accepted Answer

프롬프트 캐싱은 반복되는 긴 입력의 계산 결과를 재사용해 지연과 입력 비용을 줄이는 API 기능입니다. 대개 동일한 앞부분이 길게 반복될 때 유리하며 공급사마다 자동·명시 캐시, 보존 시간과 과금 방식이 다릅니다. 의미가 비슷하다는 이유만으로 재사용되는 일반 메모리와는 다릅니다. 동적 값이 앞부분에 섞이면 적중률이 낮아질 수 있습니다. 민감정보 보존과 실제 cache hit 사용량도 확인하세요.

Question 44

Batch API는 한 요청에 질문을 여러 개 넣는 것인가요?

Accepted Answer

Batch API는 즉시 응답이 필요 없는 많은 요청을 묶어 비동기로 처리하는 제공 방식입니다. 실시간 API보다 완료 시간이 길지만 할인이나 더 높은 처리량을 제공할 수 있습니다. 각 요청의 결과와 오류를 나중에 식별할 ID가 필요합니다. 완료 기한, 파일 크기, 재시도, 부분 실패와 데이터 보존 조건을 공급사별로 확인하세요.

Question 45

Realtime API는 일반 채팅 API보다 단순히 빠른가요?

Accepted Answer

Realtime API는 양방향 스트리밍으로 음성, 텍스트와 이벤트를 낮은 지연으로 주고받도록 설계된 연결 방식입니다. 세션 상태, 음성 감지, 중간 응답, 끼어들기와 도구 호출을 지속 연결에서 처리할 수 있습니다. 일반 요청·응답 API와 메시지 구조와 과금 단위가 다를 수 있습니다. 네트워크 끊김, 중복 이벤트, 세션 만료와 오디오 데이터 보호를 별도로 설계해야 합니다.

Question 46

음성 에이전트는 챗봇 답변을 TTS로 읽는 기능인가요?

Accepted Answer

음성 에이전트는 듣기, 대화 판단, 도구 실행과 말하기를 실시간 흐름으로 연결한 에이전트입니다. STT와 TTS를 조합하거나 음성-음성 모델을 사용할 수 있습니다. 자연스러운 대화에는 지연, 끼어들기, 침묵 감지, 전화망 품질과 도구 응답 시간이 함께 중요합니다. 사칭 방지, 녹음 고지, 중요 거래의 재확인과 상담원 전환 경로를 반드시 마련하세요.

Question 47

AI Evals는 모델 벤치마크를 실행하는 것인가요?

Accepted Answer

Evals는 모델이나 AI 시스템이 요구한 품질, 안전성과 형식을 만족하는지 반복 측정하는 평가 체계입니다. 정답 비교, 규칙 검사, 사람 평가와 모델 기반 채점을 조합할 수 있습니다. 기반 모델뿐 아니라 검색, 프롬프트, 도구와 최종 업무 결과까지 평가해야 합니다. 평가 세트가 실제 실패를 대표하지 않거나 채점 모델이 편향되면 높은 점수도 믿기 어렵습니다.

Question 48

가드레일을 붙이면 AI가 안전한 답만 하나요?

Accepted Answer

가드레일은 입력, 출력과 도구 실행을 검사하거나 제한하는 정책과 기술 통제의 묶음입니다. 금지 주제 분류, 개인정보 탐지, 스키마 검증, 권한 검사와 승인 절차가 포함될 수 있습니다. 모델 지침 하나가 아니라 여러 계층의 통제로 설계합니다. 오탐과 미탐이 모두 존재합니다. 차단률만 보지 말고 우회 공격, 사용자 영향과 실패 시 동작을 평가하세요.

Question 49

Human-in-the-loop는 모든 AI 결과를 사람이 읽는다는 뜻인가요?

Accepted Answer

Human-in-the-loop는 위험하거나 불확실한 단계에 사람의 검토, 수정 또는 승인을 넣는 운영 방식입니다. 모든 결과를 검토할 수도 있지만 보통 금액, 권한, 신뢰도와 예외 조건으로 승인 지점을 정합니다. 사람의 판단 결과를 평가와 개선 데이터로 되돌릴 수도 있습니다. 승인 화면에 근거와 변경 내용을 충분히 보여주지 않으면 사람도 자동으로 승인하는 형식적 절차가 됩니다.

Question 50

프롬프트 인젝션은 사용자가 명령을 거칠게 쓰는 것인가요?

Accepted Answer

프롬프트 인젝션은 사용자나 외부 문서의 지시가 원래 규칙을 무시시키거나 데이터·도구를 오용하게 만드는 공격입니다. 웹페이지, 이메일, 문서와 도구 결과에 숨은 간접 지시도 공격이 될 수 있습니다. 신뢰하지 않는 콘텐츠와 시스템 지시가 같은 문맥에서 해석되는 LLM 특성을 노립니다. 프롬프트 필터만으로 막기 어렵습니다. 최소 권한, 데이터 경계, 도구별 승인과 출력 검증을 함께 적용하세요.

Question 51

Zero Data Retention이면 데이터가 국내에서만 처리되나요?

Accepted Answer

Zero Data Retention은 공급사가 요청 내용을 일정 로그에 보존하지 않는 조건이고, Data Residency는 저장·처리 지역에 관한 조건입니다. 두 조건은 서로 다릅니다. 무보존이어도 다른 국가에서 처리될 수 있고, 국내 리전에 저장해도 보안 로그나 남용 감지 데이터가 일정 기간 남을 수 있습니다. 마케팅 문구보다 계약의 적용 엔드포인트, 예외 로그, 백업, 하위 처리자와 학습 사용 조건을 확인하세요.

Question 52

A2A와 MCP는 서로 경쟁하는 같은 프로토콜인가요?

Accepted Answer

A2A는 독립된 AI 에이전트가 서로를 발견하고 작업, 메시지와 결과물을 교환하기 위한 공개 프로토콜입니다. MCP가 주로 AI 앱과 도구·데이터 연결을 표준화한다면 A2A는 서로 다른 프레임워크나 조직의 에이전트 간 협업을 다룹니다. Agent Card로 능력과 접점을 설명하고 장기 작업 상태와 결과물을 교환할 수 있습니다. 프로토콜 호환이 신뢰나 권한을 보장하지 않습니다. 인증, 위임 범위, 결과 검증과 비용 한도를 별도로 설계하세요.

Question 53

MCP Apps는 MCP 서버를 웹앱으로 바꾸는 기능인가요?

Accepted Answer

MCP Apps는 MCP 도구가 차트, 폼과 대시보드 같은 상호작용 UI를 호스트 대화 안에 제공하는 공식 확장입니다. 도구가 UI 리소스를 선언하면 지원하는 호스트가 격리된 iframe으로 렌더링하고 메시지 채널로 데이터와 도구 호출을 연결합니다. 기본 MCP의 텍스트·구조화 결과를 보완합니다. 모든 MCP 클라이언트가 지원하는 것은 아닙니다. 콘텐츠 보안 정책, 샌드박스 권한과 호스트별 기능을 확인하세요.

Question 54

Agent Skills는 도구 호출 API와 같은 것인가요?

Accepted Answer

Agent Skills는 에이전트가 특정 작업을 수행하는 방법을 재사용하도록 지침, 스크립트, 참고자료와 자산을 폴더 단위로 묶는 공개 형식입니다. 최소 구성은 메타데이터와 지침이 담긴 SKILL.md이며 필요할 때 관련 자료를 단계적으로 읽을 수 있습니다. 도구의 실행 인터페이스라기보다 작업 지식과 절차를 배포하는 단위입니다. 외부 스킬의 지침과 스크립트도 코드처럼 검토해야 합니다. 설치했다고 권한이나 안전성이 자동으로 확보되지 않습니다.

Question 55

에이전트를 여러 개 쓰면 한 모델보다 결과가 좋아지나요?

Accepted Answer

에이전트형 워크플로는 모델과 도구가 여러 단계를 반복하는 흐름이고, 멀티에이전트는 역할이 다른 에이전트들이 협업하는 구성입니다. 역할 분리, 병렬 조사와 독립 검토에 도움이 될 수 있지만 통신, 상태, 충돌 해결과 비용이 늘어납니다. 한 에이전트와 명확한 도구 흐름으로 충분한 문제도 많습니다. 에이전트 수를 품질 지표로 보지 마세요. 종료 조건, 책임 주체, 공유 상태와 실패 복구를 먼저 설계해야 합니다.

Question 56

VLM은 이미지 생성 모델인가요?

Accepted Answer

VLM은 이미지나 영상의 시각 정보와 언어를 함께 이해하고 연결하는 비전-언어 모델입니다. 이미지 설명, 질의응답, OCR 보조와 화면 이해에 쓰이며 반드시 이미지를 생성하는 것은 아닙니다. 입력 해상도, 프레임 샘플링과 공간 좌표 처리 방식이 품질에 영향을 줍니다. 작은 글자, 정확한 개수, 도면 좌표와 긴 영상 시간 관계는 별도 평가와 도구 보완이 필요합니다.

Question 57

VLA는 VLM에 로봇 팔을 연결한 것인가요?

Accepted Answer

VLA는 시각과 언어 입력을 이해해 로봇이나 장치의 행동 명령까지 생성하도록 학습한 모델 계열입니다. 카메라 관찰, 자연어 지시와 과거 행동을 바탕으로 이동이나 조작을 위한 action을 출력합니다. 실제 제어에는 센서, 저수준 제어기와 안전 제한이 함께 필요합니다. 시뮬레이션 성공이 실제 안전을 보장하지 않습니다. 물리적 한계, 비상 정지와 사람 주변 검증이 필수입니다.

Question 58

월드 모델은 현실을 그대로 복제한 AI인가요?

Accepted Answer

월드 모델은 환경의 상태와 행동 결과가 시간에 따라 어떻게 변할지 예측하도록 학습한 모델입니다. 영상 생성, 로봇 계획, 자율주행과 시뮬레이션에서 다음 상태나 가능한 미래를 예상하는 데 쓰입니다. 현실의 모든 규칙을 완전히 담은 복제본은 아닙니다. 학습 범위를 벗어난 환경에서는 예측 오류가 누적됩니다. 실제 센서 피드백과 안전 제약으로 계속 보정해야 합니다.

Question 59

추론 토큰이 많을수록 답이 항상 더 정확한가요?

Accepted Answer

Test-time compute는 답을 만들 때 추가 탐색, 검토와 계산에 쓰는 연산이며 일부 API는 이를 추론 토큰으로 측정합니다. 학습이 끝난 같은 모델도 추론 강도, 후보 탐색과 검증 단계를 늘려 복잡한 문제 성능을 높일 수 있습니다. 간단한 작업에는 지연과 비용만 늘 수 있습니다. 추론 과정의 길이와 정답은 같은 값이 아닙니다. 업무별 정확도, 지연과 비용을 함께 평가하세요.

Question 60

SFT는 모델에 정답을 외우게 하는 학습인가요?

Accepted Answer

SFT는 입력과 원하는 출력 예시를 사용해 사전학습 모델의 응답 방식과 작업 수행을 추가 학습하는 방법입니다. 지시 따르기, 대화 형식과 특정 업무 패턴을 익히는 기본 post-training 단계로 널리 쓰입니다. 사실 데이터베이스처럼 정확히 기억시키는 용도와는 다릅니다. 예시의 오류와 편향도 함께 학습됩니다. 학습·검증 세트를 분리하고 원본 데이터 권리와 개인정보를 관리하세요.

Question 61

RLHF를 하면 모델이 사람의 가치관을 이해하나요?

Accepted Answer

RLHF와 RLAIF는 사람 또는 AI의 선호 피드백을 이용해 모델 응답을 더 유용하고 안전한 방향으로 조정하는 방법입니다. 응답 쌍의 선호를 모아 보상 신호를 만들고 모델을 최적화합니다. 피드백 제공자와 기준에 따라 말투, 거절과 편향 특성이 달라질 수 있습니다. 선호 최적화는 사실성이나 보편적 가치의 증명이 아닙니다. 소수 사용자와 문화권의 요구를 별도로 평가하세요.

Question 62

DPO는 RLHF에서 강화학습을 뺀 것인가요?

Accepted Answer

DPO는 선호되는 답과 그렇지 않은 답의 쌍으로 모델을 직접 최적화하는 post-training 방법입니다. 별도의 보상 모델과 복잡한 온라인 강화학습 절차를 줄일 수 있어 선호 조정에 널리 쓰입니다. 데이터 구성과 기준 모델 설정이 결과에 큰 영향을 줍니다. 선호 데이터가 단순하거나 편향되면 과도한 거절, 장황함이나 특정 문체가 강화될 수 있습니다.

Question 63

LoRA를 쓰면 큰 모델 전체를 다시 학습하지 않아도 되나요?

Accepted Answer

PEFT는 일부 추가 파라미터만 학습하는 기법군이고, LoRA는 작은 저랭크 행렬을 학습하는 대표적인 PEFT 방법입니다. 기본 가중치를 고정해 학습 메모리와 저장 비용을 줄이고 작업별 adapter를 따로 배포할 수 있습니다. adapter를 기본 모델에 합쳐 추론할 수도 있습니다. 작은 adapter도 기본 모델 버전과 라이선스에 종속됩니다. 품질 저하, 병합 방식과 배포 메모리를 확인하세요.

Question 64

추측 디코딩은 작은 모델의 답을 그대로 쓰는 것인가요?

Accepted Answer

추측 디코딩은 빠른 초안 모델이 여러 토큰을 제안하고 큰 모델이 이를 한꺼번에 검증해 생성을 가속하는 추론 기법입니다. 검증 모델이 최종 분포를 확인하므로 올바르게 구현하면 목표 모델의 결과 품질을 유지하면서 지연을 줄일 수 있습니다. 초안 적중률과 하드웨어에 따라 이득이 달라집니다. 모든 모델과 요청에서 빨라지는 것은 아닙니다. 짧은 출력, 낮은 적중률과 메모리 제약에서는 오히려 손해일 수 있습니다.

AI 용어를 알면
선택 기준이 선명해집니다

처음 시작할 때

업무에 연결할 때

직접 만들고 운영할 때

관련 글과 출처

용어를 실제 선택 기준으로 바꿔보세요

AI 용어를 알면
선택 기준이 선명해집니다

처음 시작할 때

업무에 연결할 때

직접 만들고 운영할 때

관련 글과 출처

용어를 실제 선택 기준으로 바꿔보세요

AI 용어를 알면선택 기준이 선명해집니다

처음 시작할 때

업무에 연결할 때

직접 만들고 운영할 때

관련 글과 출처

용어를 실제 선택 기준으로 바꿔보세요

AI 용어를 알면선택 기준이 선명해집니다

처음 시작할 때

업무에 연결할 때

직접 만들고 운영할 때

관련 글과 출처

용어를 실제 선택 기준으로 바꿔보세요

AI 용어를 알면
선택 기준이 선명해집니다

AI 용어를 알면
선택 기준이 선명해집니다