Bash example using sed, awk: přístup ke členům asociativního pole

Vysvětlení a komentáře jsou součástí předchozího článku.

Projekty_www/phpBB3-docs/test-search-wrods3.sh

 

#!/bin/bash
declare -A results=()  # Deklarace asociativního pole pro ukládání výsledků

# Funkce pro prohledání slov v textu
search_words() {
    local sql_array="$1"
    local query="$2"
    local words=("${@:3}")

    sql_array=$(echo "$sql_array" | sed -e 's/^[ \t]*//') # Trim begin of the lines

    # Vytvoření pole slov s query na prvním místě
    local all_words=("$query" "${words[@]}")
    # Procházení slov a hledání jejich výskytu v stringu
    for word in "${all_words[@]}"; do
        result=$(echo "$sql_array" | awk -v word="$word" '$0 ~ word {print NR; exit}')
read -p "WORD:$word RESULT:$result searched in sql_array"
        # Pokud není nalezen žádný výskyt, nastavíme výsledek na 0
        if [ -z "$result" ]; then
            result=0
        fi

        # Uložení výsledku pod klíčem slova
        results["$word"]="$result"
    done

    # Vrácení asociativního pole výsledků
 #    echo "${results[@]}"
}

# Hlavní kód
clear
sql_array="
    'SELECT'    => 'f.*',
    'FROM'      => array(
        FORUMS_TABLE        => 'f'
    ),
    'LEFT_JOIN' => array(),
    'ORDER_BY'  => 'f.left_id',
    'WHERE'     => 'f.id = 1'
"

# Pole se slovy, která hledáme
words=("FROM" "LEFT_JOIN" "ON" "WHERE")

# Volání funkce pro prohledání slov
search_words "$sql_array" "SELECT" "${words[@]}"

# Vypsání výsledků
for word in "${!results[@]}"; do
    echo "WORD:$word RESULT:${results[$word]} searched in sql_array"
done

# Oddělení pro přehlednost
echo "--------------"

# Vypsání výsledků v očekávaném formátu
echo "SELECT:${results[SELECT]}"
echo "FROM: ${results[FROM]}"
echo "LEFT_JOIN: ${results[LEFT_JOIN]}"
echo "ON: ${results[ON]}"
echo "WHERE: ${results[WHERE]}"

Bash example using sed, awk, hash arrays: Asociativní pole a porovnávání v awk

test-search-words-2.sh

 

 

#!/bin/bash
declare -A results=()  # Deklarace asociativního pole pro ukládání výsledků globálně

# Funkce pro prohledání slov v textu
search_words() {
    local sql_array="$1"
    local query="$2"
    local words=("${@:3}") # Importuje pole z třetího argumentu volání funkce
    # local results=()

    sql_array=$(echo "$sql_array" | sed -e 's/^[ \t]*//') # Trim begin of the lines

    # Připojení slova s dotazem k poli. Vytvoření pole slov s query na prvním místě
    local all_words=("$query" "${words[@]}")
    # Procházení slov a hledání jejich výskytu v stringu
    for word in "${all_words[@]}"; do
    result=$(echo "$sql_array" | awk -v word="$word" '$0 ~ word {print NR; exit}')

# PRO AWK JE VELMI SPECIFICKÉ, ŽE PROGRAMÁTOŘI NEPOTŘEBUJÍ ZAPISOVAT PODMÍNKU if, NÝBRŽ ROVNOU ZAPÍŠOU PODMÍNKU PŘED BLOK, bez jakýchkoliv závorek!
# Cyklus for není třeba, protože není třeba procházet sloupce!

# AWK pouze hledá zda se slovo nachází na začátku řádku.

#    result=$(echo "$sql_array" | awk -v word="$word" '{
#        if ($0 ~ word) {
#            print NR;  # Vypíše číslo řádku, pokud se slovo nachází na začátku řádku
#            next;  # Přejde na další řádek
#        }
#           }')

# Toto read -p "string" je můj oblíbený způsob ladění bash skriptu
read -p "WORD:$word RESULT:$result searched in sql_array"
        if [ -z "$result" ]; then
            result=0
        fi
        results["$word"]="$result"  # Uložení výsledku pod klíčem slova
    done

    # Vrácení asociativního pole výsledků
    echo "${results[@]}"
}

# Hlavní kód
clear
sql_array="
    'SELECT'    => 'f.*',
    'FROM'      => array(
        FORUMS_TABLE        => 'f'
    ),
    'LEFT_JOIN' => array(),
    'ORDER_BY'  => 'f.left_id',
    'WHERE'     => 'f.id = 1'
"

# Pole se slovy, která hledáme
# words je běžné pole
words=("FROM" "LEFT_JOIN" "ON" "WHERE")

# Volání funkce pro prohledání slov
search_words "$sql_array" "SELECT" "${words[@]}"

# Vypsání výsledků
echo "SELECT: ${results[0]}"
# hash před názvem pole celého [@] vrací počet prvků v poli
for ((i=1; i<${#words[@]}+1; i++)); do
    echo "${words[i-1]}: ${results[i]}"
 done
read -p "stop"
echo "SELECT: ${results["SELECT"]}"
read -p "Press key to continue"
# Vypsání výsledků
for word in "${!results[@]}"; do
    echo "$word: ${results[$word]}"
done

for word in "${words[@]}"; do
    echo "$word: ${results[$word]}"
done

 

 

bash: Výpis sloupců tabulek s varchar(255)

get_výpis_tabulek_s_dlouhým_textem.sh

#!/bin/bash

# TENTO SKRIPT VYCHÁZÍ ZE SOUBORU VYGENEROVANÉHO POMOCÍ SKRIPTU
# sudo vytvoř-strukturu-tabulek-včetně-textových-hodnot.sh forum
# kde forum je název mysql tabulky ze které se extrahují informace

# Tento skript jen zredukuje informace ze získaného souboru na minimum
# tj. HLEDÁ SLOUPCE S TYPEM varchar(255), které jsou zapsány jako
# nazev_sloupce:typ; ... ale jen ty s tím textovým formátem, který hledal
# předchozí skript


# UŽITEK:
# 1) čtení po řádcích v cyklu while
# 2) hledání řetězce hlavičky pomocí if
# 3) vyextrahování názvu tabulky z hlavičky pomocí cut a sed
# 4) možnost hledání pomocí if nebo grep se vstupem <<< z line
# 5) rozparsování řádku do pole sloupců pomocí read -r -a
# 6) využití cyklu for ke zpracování pole
# 7) přístup k prvku pole
# 8) porovnání, hledání v prvku pole pomocí if
# 9) hledání a záměna pomocí sed: získání jednoho slova mezi slovy.


ofile="dlouhé_textové_sloupce.txt"
rm -f "$ofile"
while IFS= read -r line; do
    if [[ "$line" == *"Struktura tabulky"* ]]; then
        table_name=$(echo "$line" | cut -d' ' -f3 | sed 's/:$//' )
        output_text="Tabulka: $table_name -> "
        echo "$output_text" >> "$ofile"

        read  # Přeskočíme oddělovací řádek
        # echo $table_name
        read -r line
        IFS=';' read -ra columns <<< "$line"
        for column in "${columns[@]}"; do
            # echo "column: $column"
            IFS=':' read -ra colNames <<< "$column"
            nameIndex=$((${#colNames[@]} - 2))
            valueIndex=$((${#colNames[@]} - 1))
            prelast_colName="${colNames[$nameIndex]}"
            prelast_colValue="${colNames[$valueIndex]}"
                if [[ "$prelast_colValue" =~ "varchar(" ]]; then
                  output_text="$prelast_colName $prelast_colValue;"
                   echo "$output_text" >> "$ofile"
                fi
        done

    fi
done < forum_struktura_tabulek_s_textovými_hodnotami.txt

echo "$ofile uložen"

Generuje výsledek (zkrácený výpis):

Tabulka: a_acl_groups ->
Tabulka: a_acl_options ->
auth_option varchar(50);
Tabulka: a_acl_roles ->
role_name varchar(255);
 role_type varchar(10);
Tabulka: a_acl_roles_data ->
Tabulka: a_acl_users ->
Tabulka: a_attachments ->
physical_filename varchar(255);
 real_filename varchar(255);
 extension varchar(100);
 mimetype varchar(100);
Tabulka: a_banlist ->
ban_ip varchar(40);
 ban_email varchar(100);
ban_reason varchar(255);
 ban_give_reason varchar(255);
Tabulka: a_bbcodes ->
bbcode_tag varchar(16);

Původní soubor (zkráceno): 

Ze souboru

~/Projekty_www/phpBB3-docs$ head -n 200  forum_struktura_tabulek_s_textovými_hodnotami.txt

který byl vytvořen tímto skriptem (jeden z nich): 

vytvoř-strukturu-tabulek-včetně-textových-hodnot.sh
vytvoř-strukturu-tabulek.sh

extrahuj_konstanty_tabulek.sh (skript pro získání názvů konstant se jmény tabulek)

get-seznam-dotazu.sh (tento skript hledá blok textu se slovem SQL dotazu)

-----------------------------------------
Struktura tabulky a_acl_groups:

group_id:forum_id:auth_option_id:auth_role_id:auth_setting:
-----------------------------------------
Struktura tabulky a_acl_options:

auth_option_id:auth_option:varchar(50); is_global:is_local:founder_only:
-----------------------------------------
Struktura tabulky a_acl_roles:

role_id:role_name:varchar(255); role_description:text; role_type:varchar(10); role_order:
-----------------------------------------
Struktura tabulky a_acl_roles_data:

role_id:auth_option_id:auth_setting:
-----------------------------------------
Struktura tabulky a_acl_users:

user_id:forum_id:auth_option_id:auth_role_id:auth_setting:
-----------------------------------------
Struktura tabulky a_attachments:

attach_id:post_msg_id:topic_id:in_message:poster_id:is_orphan:physical_filename:varchar(255); real_filename:varchar(255); download_count:attach_comment:text; extension:varchar(100); mimetype:varchar(100); filesize:filetime:thumbnail:
-----------------------------------------
Struktura tabulky a_banlist:

ban_id:ban_userid:ban_ip:varchar(40); ban_email:varchar(100); ban_start:ban_end:ban_exclude:ban_reason:varchar(255); ban_give_reason:varchar(255);
-----------------------------------------
Struktura tabulky a_bbcodes:

bbcode_id:bbcode_tag:varchar(16); bbcode_helpline:text; display_on_posting:bbcode_match:text; bbcode_tpl:mediumtext; first_pass_match:mediumtext; first_pass_replace:mediumtext; second_pass_match:mediumtext; second_pass_replace:mediumtext;

Získání seznamu konstant pro tabulky phpBB3

V souboru constant.php

se vyskytuje tento text:

// Captcha code length

define('CAPTCHA_MIN_CHARS', 4);

define('CAPTCHA_MAX_CHARS', 7);

// Additional constants

define('VOTE_CONVERTED', 127);

// BC global FTW

global $table_prefix;

// Table names

define('ACL_GROUPS_TABLE', $table_prefix . 'acl_groups');

define('ACL_OPTIONS_TABLE', $table_prefix . 'acl_options');

define('ACL_ROLES_DATA_TABLE', $table_prefix . 'acl_roles_data');

define('ACL_ROLES_TABLE', $table_prefix . 'acl_roles');

define('ACL_USERS_TABLE', $table_prefix . 'acl_users');

define('ATTACHMENTS_TABLE', $table_prefix . 'attachments');

define('BANLIST_TABLE', $table_prefix . 'banlist');

define('BBCODES_TABLE', $table_prefix . 'bbcodes');

define('BOOKMARKS_TABLE', $table_prefix . 'bookmarks');

define('BOTS_TABLE', $table_prefix . 'bots');

if (!defined('CONFIG_TABLE'))

{

define('CONFIG_TABLE', $table_prefix . 'config');

}

define('CONFIG_TEXT_TABLE', $table_prefix . 'config_text');

define('CONFIRM_TABLE', $table_prefix . 'confirm');

define('DISALLOW_TABLE', $table_prefix . 'disallow');

define('DRAFTS_TABLE', $table_prefix . 'drafts');

define('EXT_TABLE', $table_prefix . 'ext');

define('EXTENSIONS_TABLE', $table_prefix . 'extensions');

define('EXTENSION_GROUPS_TABLE', $table_prefix . 'extension_groups');

define('FORUMS_TABLE', $table_prefix . 'forums');

define('FORUMS_ACCESS_TABLE', $table_prefix . 'forums_access');

define('FORUMS_TRACK_TABLE', $table_prefix . 'forums_track');

define('FORUMS_WATCH_TABLE', $table_prefix . 'forums_watch');

define('GROUPS_TABLE', $table_prefix . 'groups');

define('ICONS_TABLE', $table_prefix . 'icons');

define('LANG_TABLE', $table_prefix . 'lang');

define('LOG_TABLE', $table_prefix . 'log');

define('LOGIN_ATTEMPT_TABLE', $table_prefix . 'login_attempts');

define('MIGRATIONS_TABLE', $table_prefix . 'migrations');

define('MODERATOR_CACHE_TABLE', $table_prefix . 'moderator_cache');

define('MODULES_TABLE', $table_prefix . 'modules');

define('NOTIFICATION_TYPES_TABLE', $table_prefix . 'notification_types');

define('NOTIFICATIONS_TABLE', $table_prefix . 'notifications');

define('POLL_OPTIONS_TABLE', $table_prefix . 'poll_options');

define('POLL_VOTES_TABLE', $table_prefix . 'poll_votes');

define('POSTS_TABLE', $table_prefix . 'posts');

define('PRIVMSGS_TABLE', $table_prefix . 'privmsgs');

define('PRIVMSGS_FOLDER_TABLE', $table_prefix . 'privmsgs_folder');

define('PRIVMSGS_RULES_TABLE', $table_prefix . 'privmsgs_rules');

define('PRIVMSGS_TO_TABLE', $table_prefix . 'privmsgs_to');

define('PROFILE_FIELDS_TABLE', $table_prefix . 'profile_fields');

define('PROFILE_FIELDS_DATA_TABLE', $table_prefix . 'profile_fields_data');

define('PROFILE_FIELDS_LANG_TABLE', $table_prefix . 'profile_fields_lang');

define('PROFILE_LANG_TABLE', $table_prefix . 'profile_lang');

define('RANKS_TABLE', $table_prefix . 'ranks');

define('REPORTS_TABLE', $table_prefix . 'reports');

define('REPORTS_REASONS_TABLE', $table_prefix . 'reports_reasons');

define('SEARCH_RESULTS_TABLE', $table_prefix . 'search_results');

define('SEARCH_WORDLIST_TABLE', $table_prefix . 'search_wordlist');

define('SEARCH_WORDMATCH_TABLE', $table_prefix . 'search_wordmatch');

define('SESSIONS_TABLE', $table_prefix . 'sessions');

define('SESSIONS_KEYS_TABLE', $table_prefix . 'sessions_keys');

define('SITELIST_TABLE', $table_prefix . 'sitelist');

define('SMILIES_TABLE', $table_prefix . 'smilies');

define('SPHINX_TABLE', $table_prefix . 'sphinx');

define('STYLES_TABLE', $table_prefix . 'styles');

define('STYLES_TEMPLATE_TABLE', $table_prefix . 'styles_template');

define('STYLES_TEMPLATE_DATA_TABLE',$table_prefix . 'styles_template_data');

define('STYLES_THEME_TABLE', $table_prefix . 'styles_theme');

define('STYLES_IMAGESET_TABLE', $table_prefix . 'styles_imageset');

define('STYLES_IMAGESET_DATA_TABLE',$table_prefix . 'styles_imageset_data');

define('TEAMPAGE_TABLE', $table_prefix . 'teampage');

define('TOPICS_TABLE', $table_prefix . 'topics');

define('TOPICS_POSTED_TABLE', $table_prefix . 'topics_posted');

define('TOPICS_TRACK_TABLE', $table_prefix . 'topics_track');

define('TOPICS_WATCH_TABLE', $table_prefix . 'topics_watch');

define('USER_GROUP_TABLE', $table_prefix . 'user_group');

define('USER_NOTIFICATIONS_TABLE', $table_prefix . 'user_notifications');

define('USERS_TABLE', $table_prefix . 'users');

define('WARNINGS_TABLE', $table_prefix . 'warnings');

define('WORDS_TABLE', $table_prefix . 'words');

define('ZEBRA_TABLE', $table_prefix . 'zebra');

Cílem následkujícího skriptu pro bash je získat seznam párů názvů konstant a názvů tabulek:

 

 

ACL_GROUPS_TABLE:acl_groups
ACL_OPTIONS_TABLE:acl_options
ACL_ROLES_DATA_TABLE:acl_roles_data
ACL_ROLES_TABLE:acl_roles
ACL_USERS_TABLE:acl_users
ATTACHMENTS_TABLE:attachments
BANLIST_TABLE:banlist
BBCODES_TABLE:bbcodes
BOOKMARKS_TABLE:bookmarks
BOTS_TABLE:bots
CONFIG_TABLE:config
CONFIG_TEXT_TABLE:config_text
CONFIRM_TABLE:confirm
DISALLOW_TABLE:disallow
DRAFTS_TABLE:drafts
EXT_TABLE:ext
EXTENSIONS_TABLE:extensions
EXTENSION_GROUPS_TABLE:extension_groups
FORUMS_TABLE:forums
FORUMS_ACCESS_TABLE:forums_access
FORUMS_TRACK_TABLE:forums_track
FORUMS_WATCH_TABLE:forums_watch
GROUPS_TABLE:groups
ICONS_TABLE:icons
LANG_TABLE:lang
LOG_TABLE:log
LOGIN_ATTEMPT_TABLE:login_attempts
MIGRATIONS_TABLE:migrations
MODERATOR_CACHE_TABLE:moderator_cache
MODULES_TABLE:modules
NOTIFICATION_TYPES_TABLE:notification_types
NOTIFICATIONS_TABLE:notifications
POLL_OPTIONS_TABLE:poll_options
POLL_VOTES_TABLE:poll_votes
POSTS_TABLE:posts
PRIVMSGS_TABLE:privmsgs
PRIVMSGS_FOLDER_TABLE:privmsgs_folder
PRIVMSGS_RULES_TABLE:privmsgs_rules
PRIVMSGS_TO_TABLE:privmsgs_to
PROFILE_FIELDS_TABLE:profile_fields
PROFILE_FIELDS_DATA_TABLE:profile_fields_data
PROFILE_FIELDS_LANG_TABLE:profile_fields_lang
PROFILE_LANG_TABLE:profile_lang
RANKS_TABLE:ranks
REPORTS_TABLE:reports
REPORTS_REASONS_TABLE:reports_reasons
SEARCH_RESULTS_TABLE:search_results
SEARCH_WORDLIST_TABLE:search_wordlist
SEARCH_WORDMATCH_TABLE:search_wordmatch
SESSIONS_TABLE:sessions
SESSIONS_KEYS_TABLE:sessions_keys
SITELIST_TABLE:sitelist
SMILIES_TABLE:smilies
SPHINX_TABLE:sphinx
STYLES_TABLE:styles
STYLES_TEMPLATE_TABLE:styles_template
STYLES_TEMPLATE_DATA_TABLE:styles_template_data
STYLES_THEME_TABLE:styles_theme
STYLES_IMAGESET_TABLE:styles_imageset
STYLES_IMAGESET_DATA_TABLE:styles_imageset_data
TEAMPAGE_TABLE:teampage
TOPICS_TABLE:topics
TOPICS_POSTED_TABLE:topics_posted
TOPICS_TRACK_TABLE:topics_track
TOPICS_WATCH_TABLE:topics_watch
USER_GROUP_TABLE:user_group
USER_NOTIFICATIONS_TABLE:user_notifications
USERS_TABLE:users
WARNINGS_TABLE:warnings
WORDS_TABLE:words
ZEBRA_TABLE:zebra

 

 

 #!/bin/bash

# Cesta k souboru constants.php
CONSTANTS_FILE="/var/www/phpBB3/includes/constants.php"

# Výstupní soubor pro tabulku
OUTPUT_FILE="forum_constants_tables_info.txt"


# Regulární výraz pro hledání konstant
# CONSTANT_PATTERN="define\('([^']+)',\s*'\$table_prefix\s*\.\s*'([^']+)"

# Použití grep pro filtrování řádků obsahujících $table_prefix, ale vynechat výskyt se slovem "global"
GREPPED_LINES=$(grep "\$table_prefix" "$CONSTANTS_FILE" | grep -v "global" )

# Odstranění "define(' ze začátku řádků
CLEANED_LINES=$(echo "$GREPPED_LINES" | sed "s/define('//g")

# Odstranění "');" z konce řádků
CLEANED_LINES=$(echo "$CLEANED_LINES" | sed "s/');//g")

# Odstranění mezer a tabulátorů
CLEANED_LINES=$(echo "$CLEANED_LINES" | sed 's/[[:space:]]//g')

# Odstranění "',$table_prefix .'" z řádků
CLEANED_LINES=$(echo "$CLEANED_LINES" | sed "s/,\$table_prefix\.//g")

# Oddělení konstanty a názvu tabulky dvojtečkou a odstranění dvojitých apostrofů
FINAL_LINES=$(echo "$CLEANED_LINES" | sed "s/''/:/g")
echo "$FINAL_LINES"

# Vymazání starého souboru, pokud existuje
rm -f $OUTPUT_FILE

# Vytvoření textové tabulky
echo "$FINAL_LINES" | tr ' ' '\t' >> "$OUTPUT_FILE"

echo "Textová tabulka byla vytvořena v souboru $OUTPUT_FILE"