AI/BI Genie 공간란?

이 문서에서는 비즈니스 팀이 자연어를 사용하여 데이터와 상호 작용할 수 있도록 하는 Azure Databricks 기능인 AI/BI Genie를 소개합니다. 조직의 용어와 데이터에 맞게 조정된 생성형 AI를 사용하며, 사용자 피드백을 통해 그 성능을 모니터링하고 개선할 수 있는 기능을 제공합니다.

개요

데이터 분석가와 같은 분야 전문가는 Genie가 비즈니스 질문을 분석 쿼리로 변환하는 데 도움이 되도록 데이터 세트, 샘플 쿼리 및 텍스트 지침을 사용하여 Genie 공간을 구성합니다. 설정 후 비즈니스 사용자는 질문을 하고 시각화를 생성하여 운영 데이터를 이해할 수 있습니다. 데이터가 변경되고 사용자가 새로운 질문을 제기함에 따라 Genie의 의미 체계 지식을 지속적으로 업데이트할 수 있습니다. DatabricksIQ에 대한 자세한 내용은 DatabricksIQ 기반 기능을 참조하세요.

AI/BI Genie는 주석이 추가된 테이블 및 열에서 관련 이름과 설명을 선택하여 자연어 질문을 동등한 SQL 쿼리로 변환합니다. 그런 다음 가능한 경우 생성된 쿼리 및 결과 테이블로 응답합니다. Genie가 답변을 생성할 수 없는 경우 응답을 제공하기 전에 추가 질문을 통해 명확히 설명할 수 있습니다.

사용 사례 예

다양한 비기술 대상 그룹을 지원하기 위해 다양한 Genie 공간을 만들 수 있습니다. 다음 시나리오에서는 두 가지 가능한 사용 사례를 설명합니다.

예제 1: 기회 상태 시각화

영업 관리자는 영업 파이프라인의 스테이지별로 열려 있고 닫힌 기회의 현재 상태를 확인하려고 합니다. 자연어를 사용하여 지니 공간과 상호 작용하고 시각화를 자동으로 생성할 수 있습니다.

다음 gif는 이 상호 작용을 보여줍니다.

예제 2: 물류 추적

물류 회사는 Genie 공간을 사용하여 여러 부서의 비즈니스 사용자가 운영 및 재무 세부 정보를 추적할 수 있도록 돕고자 합니다. 그들은 선적 시설 관리자가 배송을 추적할 수 있는 지니 공간을 마련하고 재무 경영진이 재무 상태를 이해할 수 있도록 또 다른 공간을 마련했습니다.

Genie에서 응답을 생성하는 방법

Genie는 복합 AI 시스템 사용하여 비즈니스 질문을 해석하고 답변을 생성합니다. 복합 AI 시스템은 단일 큰 언어 모델을 사용하는 대신 여러 상호 작용 구성 요소를 결합하여 AI 애플리케이션에서 작업을 처리합니다. 복합 AI 시스템은 성능과 유연성 때문에 AI 애플리케이션에 점점 더 일반적인 디자인 패턴입니다. 자세한 내용은 모델에서 복합 AI 시스템으로의 전환참조하세요.

사용자가 질문을 제출하면 Genie는 요청을 구문 분석하고 관련 데이터 원본을 식별하며 프롬프트에 응답하는 방법을 결정합니다. 사용자가 제공하는 지침은 Unity 카탈로그 메타데이터와 결합되어 Genie가 비즈니스 논리와 기술 논리를 모두 유추할 수 있도록 합니다. Genie는 예제 SQL 쿼리, 테이블 및 열 메타데이터 및 채팅 기록을 지능적으로 필터링하여 요청에 응답하기 위한 가장 관련성이 높은 정보를 선택합니다.

Genie는 다음 구성 요소를 사용하여 응답을 생성합니다.

• 테이블 메타데이터: 테이블 이름, 설명 및 정의된 PK(기본 키) 및 FK(외래 키) 관계를 포함합니다. Genie는 요청을 구문 분석하고 자연어 프롬프트를 SQL로 변환할 때 이 데이터를 사용합니다.
• 열 이름 및 설명: Genie는 포함할 관련 열 이름 및 설명을 지능적으로 필터링합니다.
• 예제 SQL 쿼리: Genie는 지침관련 SQL 예제를 지능적으로 선택합니다.
• SQL 함수: 공간에 추가된 모든 SQL 함수입니다.
• 지침: 일반 지침으로 제공되는 플레인 텍스트 노트가 컨텍스트로 포함됩니다.
• 프롬프트 및 응답 기록: 현재 채팅의 프롬프트 및 응답이 컨텍스트로 포함됩니다. 필요한 경우 토큰 제한설정으로 인해 채팅 레코드의 가장 오래된 부분이 제외됩니다.

Genie가 쿼리를 반환하면 지정된 SQL 웨어하우스에서 실행됩니다. 재시도는 자동으로 처리되고 SQL 웨어하우스는 동시성 및 규모를 처리합니다.

어떤 데이터를 사용해야 하나요?

Genie 공간은 관리되는 테이블, 외부 테이블, 외장 테이블, 뷰 및 구체화된 뷰를 포함하여 Unity 카탈로그에 등록된 데이터를 기반으로 합니다. AI/BI Genie는 Unity 카탈로그 개체에 연결된 메타데이터를 사용하여 응답을 생성합니다. 사용자가 제공하는 특정 지침과 연결된 잘 주석이 추가된 데이터 세트는 최종 사용자에게 긍정적인 환경을 만드는 데 핵심적인 요소입니다.

Databricks에서 권장하는 사항은 다음과 같습니다.

• 분석을 위한 데이터 소비데이터 큐레이팅: 레이어 뷰를 사용하여 열 수를 줄이고, 사용 사례별 정보를 추가하여 응답 품질을 향상시킵니다.
• 지니 공간테이블 및 열 수를 최소화합니다. 지정된 도메인에 대한 질문에 답변하는 데 필요한 테이블과 열만 포함합니다. 불필요한 테이블 또는 열로 인해 Genie가 혼동되거나 잘못된 답변을 제공하거나 오류 메시지를 표시할 수 있습니다.
• PK(기본 키)/FK(외래 키) 관계정의: Unity 카탈로그를 사용하여 PK/FK 관계를 정의하여 Genie가 데이터 연결 방법을 이해할 수 있도록 합니다.

파일 업로드

사용자는 자신의 작은 데이터 파일을 Genie 공간에 업로드할 수도 있습니다. 파일 업로드를 사용하도록 설정하려면 Databricks 계정 팀에 문의하세요. 파일을 업로드하려면 항목을 참조하세요. 자세한 내용은을 확인하세요.

신뢰할 수 있는 자산

신뢰할 수 있는 자산은 결과의 정확도에 대한 추가 보증 계층을 공간 사용자에게 전달합니다. 매개 변수가 있는 예제 쿼리 또는 SQL 함수의 정확한 텍스트를 사용하여 응답을 생성하는 경우 Genie는 응답을 신뢰할 수 있는 자산표시합니다. AI/BI Genie 공간에서 신뢰할 수 있는 자산 사용을 참조하세요.

채팅 스레드

대부분의 Genie 공간 상호 작용은 채팅 창에서 수행됩니다. 채팅 스레드는 각 사용자에 대한 상호 작용 레코드를 저장합니다. 각 채팅 스레드는 이전에 물어본 질문에 대한 컨텍스트를 유지 관리합니다. Genie는 스레드 채팅 기록의 컨텍스트를 사용하여 사용자가 후속 질문을 하여 결과 집합을 더 자세히 살펴보거나 다시 초점을 맞추는 방법을 알아봅니다.

최소한 공간에 대한 보기 권한이 있는 사용자는 자신의 채팅 기록을 볼 수 있습니다. CAN EDIT 권한이 있는 사용자는 공간의 히스토리 탭에서 모든 질문과 답변을 검토할 수 있습니다.

응답 검토

대부분의 응답에는 자연어 설명과 관련 결과 집합을 보여 주는 테이블이 포함됩니다. 원본 테이블은 설명 아래에 표시되며 결과를 생성하는 데 사용되는 SQL 쿼리는 응답 세부 정보에서 사용할 수 있습니다. 시각화를 통해 선명도가 향상되면 Genie에는 시각화가 포함됩니다. 각 응답의 구조는 질문에 따라 달라집니다.

공간 사용자와 작성자는 질문에 대한 응답을 검토할 수 있습니다. 각 응답을 엄지손가락 올리기 또는 내리기로 평가하거나 검토 요청을 할 수 있습니다. 공간 편집기 및 작성자는 지니 공간의 기록 탭을 사용하여 이 피드백을 검토할 수 있습니다.

벤치마크를 사용하여 응답 평가

벤치마크를 사용하면 Genie 공간에서 개별 응답의 테스트 및 평가를 확장할 수 있습니다. 지침과 달리, 벤치마크는 Genie 공간의 정보를 제공하는 것이 아니라 평가를 위한 것입니다. Genie는 Genie의 컨텍스트를 개선하기 위해 벤치마크 질문 또는 예제 SQL을 사용하지 않습니다.

벤치마크를 사용하여 테스트 질문 컬렉션을 실행하고 응답을 사용하여 Genie의 정확도를 측정할 수 있습니다. 필요에 따라 예상된 결과를 반환하는 SQL 문을 포함할 수 있습니다. 벤치마크 질문이 실행될 때 Genie의 응답은 SQL 문에서 제공한 결과와 비교되고 정확도를 위해 점수가 매깁니다. SQL 답변이 제공되지 않은 경우 이 질문은 검토용으로 표시됩니다.

Genie 공간에서 벤치마크 사용을 참조하세요.

개인 정보 보호 및 보안

Q: Genie는 어떤 모델을 사용하나요?

Genie는 Azure OpenAI 모델을 사용합니다.

Q: 어떤 데이터를 모델로 보내나요?

지니 공간은 메타데이터 및 지침을 사용하여 자연어 질문에 대한 응답을 생성합니다. Genie는 행 수준 데이터에 액세스할 수 없습니다.

응답을 처리하기 위해 Genie는 다음을 사용합니다.

• 사용자가 제출한 자연어 프롬프트
• 테이블 이름 및 설명
• 열 제목 및 설명
• 일반 지침
• 예제 SQL 쿼리
• SQL 함수

Q: Azure OpenAI는 내 데이터를 수집하나요?

아니요. Databricks는 Microsoft가 Azure OpenAI 서비스로 전송된 프롬프트 및 완료를 저장하지 않는 남용 모니터링 및 사용자 검토 프로그램의 예외를 선택했습니다. 자세한 내용은 Microsoft 설명서를 참조 하세요.